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Zusammenfassung 


Die sensorgestützte Schüttgutsortierung dient der automatischen Qualitäts- 
kontrolle von Produkten in schüttfähiger Form. Der Oberbegriff beschreibt 
Systeme, welche die physikalische Abtrennung einzelner Partikel aus einem 
Materialstrom auf Basis sensorisch erfasster Information ermöglichen. In der 
Industrie und Forschung kommen nahezu ausnahmslos bildgebende, zeilen- 
scannende Sensoren, z.B. Farbzeilenkameras, zum Einsatz. Die Verwendung 
von Flächenkameras war aufgrund technischer Restriktionen in der Vergan- 
genheit nicht möglich. Aufgrund fortlaufender technologischer Entwicklungen 
gelten diese heute jedoch nicht mehr. 


In dieser Arbeit wird eine neue Gattung eines Schüttgutsortiersystems mit Flä- 
chenkamera erforscht. Der Einsatz von Hochgeschwindigkeitskameras als In- 
spektionssensorik wirft aus Sicht der Informatik spannende Forschungsfragen 
hinsichtlich der Gewinnung und Nutzung weitergehender Merkmale, insbe- 
sondere von Bewegungsinformation über zu sortierende Materialien, auf: 


(A) Wie können optisch identische bzw. schwer unterscheidbare Materialien 
auf Basis ihres Bewegungsverhaltens unterschieden und somit sortiert 
werden, wodurch völlig neue Anwendungsfelder eröffnet würden? 


(B) Lassen sich durch Nutzung von Bewegungsinformation präzisere Steu- 
ersignale für die Materialausschleusung berechnen, was eine völlig neue 
Qualität der Sortierung ermöglichen würde? 


(C) Können bestehende Systemauslegungen durch Ermittlung von Bewe- 
gungsinformation bewertet und deren Parametrisierung verbessert wer- 
den, so dass auch online eine Selbst-Optimierung des Sortiersystems 
möglich wird? 


Für die Untersuchung dieser Forschungsfragen wird ein echtzeitfähiges Bildfol- 
genauswertesystem inklusive Multiobject-Tracking (MOT) für die Gewinnung 
partikelindividueller Bewegungstrajektorien entwickelt. Ein Fokus liegt auf 
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der Einhaltung der bestehenden festen Echtzeitbedingung, um auch bei hohen 
Bildwiederholraten Tausende von Objekten gleichzeitig verfolgen zu können. 
Mittels Laufzeitanalysen wird die Lösung des Zuordnungsproblems, ein Teil- 
problem des MOT, als Flaschenhals identifiziert und effiziente Lösungen, u.a. 
eine Variante des Auktionsalgorithmus für die Ausführung auf einer GPU, 
erforscht. 


Anhand ausgewählter Szenarien erfolgt die Erforschung von Verfahren zur 
bewegungsbasierten Materialcharakterisierung. Hierfür wird der nutzbare, aus 
optischen Eigenschaften bestehende Merkmalsraum um Bewegungscharakte- 
ristika erweitert. Es erfolgt der experimentelle Nachweis der Unterscheidbar- 
keit optisch identischer bzw. schwer unterscheidbarer Objekte auf Basis von 
Bildfolgen im Kontext der Schüttgutsortierung. Es wird u.a. ein Verfahren zur 
Unterscheidung hohler und gesunder Haselnüsse und somit eine Lösung für 
ein derzeit noch offenes Sortierproblem vorgestellt, wodurch ein qualitativer 
Fortschritt gegenüber dem Stand der Forschung und Technik erzielt wird. 


Das realisierte prädiktive MOT ermöglicht Vorhersagen über die zukünftige 
Lokalisierung einzelner Partikel. Hierdurch lassen sich präzise Steuersignale 
für die Aktorik berechnen. Es erfolgt die Ertüchtigung eines Schüttgutsortier- 
systems für die Nutzung von Bewegungsinformation zur Materialausschleu- 
sung und der experimentelle Vergleich mit einem Referenzsortiersystem. Es 
wird aufgezeigt, dass insbesondere bei schwierigen Materialtransportbedin- 
gungen eine deutlich höhere Trennschärfe erzielt wird. Neben diesen quantita- 
tiven Verfahrensfortschritten ergeben sich hierdurch neue Anwendungsfelder 
für die sensorgestützte Schüttgutsortierung. 


In der Praxis werden Systemauslegungen durch die Wahl geeigneter Kompo- 
nenten und Parametrisierungen auf konkrete Sortieraufgaben zugeschnitten. 
Der Materialtransport hat dabei starken Einfluss auf die Sortierqualität. Es 
erfolgt die Erforschung eines Verfahrens zur Erfassung und quantitativen Be- 
schreibung des Transportverhaltens. Eine Flächenkamera wird im Sinne einer 
Analysesensorik zur Beobachtung der Transportphase in ein Sortiersystem 
integriert. Es wird aufgezeigt, dass die so bestimmbare Bewegungsinforma- 
tion sich für den systematischen Vergleich verschiedener Systemauslegungen 
sowie die Identifikation geeigneter Parametrisierungen, insbesondere für die 
Separation, eignet. Perspektivisch ermöglicht das erforschte Verfahren eine 
Selbst-Optimierung von Sortiersystemen während eines laufenden Sortierpro- 
zesses. 
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1 Einleitung 


Die automatische Qualitätskontrolle ist seit langem fester Bestandteil der ver- 
arbeitenden und aufbereitenden Industrie. Im Gegensatz zu der manuellen, 
durch menschliches Personal durchgeführten Prüfung, verspricht die automati- 
sche Qualitätskontrolle objektive und reproduzierbare Ergebnisse, eine schnel- 
le Prüfungsdurchführung und günstigere Lösungen. Eine weit verbreitete Form 
der automatischen Qualitätskontrolle ist die automatische Sichtprüfung. Durch 
Hinschauen wird beispielsweise geprüft, ob Bauteile korrekt montiert wurden, 
Behältnisse vollständig bestückt sind, oder einzelne Objekte den Qualitätsan- 
forderungen in Form von Maßen, Form, Oberflächenbeschaffenheit oder Farbe 
genügen [Bey+12, Kap. 1]. Das Hinschauen erfolgt hierbei durch einen oder 
mehrere bildgebende Sensoren. 


Eine spezielle Ausprägung der automatischen Sichtprüfung ist die sensorge- 
stützte Schüttgutsortierung. Es handelt sich hierbei um einen Oberbegriff für 
Systeme, welche die Abtrennung einzelner Partikel aus einem Materialstrom 
ermöglichen. Der Begriff Schüttgut beschreibt ein pulvriges, körniges oder 
stückiges Gemisch in schüttfähiger, also unverpackter, Form. Das manuelle 
Pendant zur automatischen Schüttgutsortierung ist das Hand-Picking, bei wel- 
chem Verunreinigungen von einem zu gewinnenden Produkt von Hand ent- 
fernt werden. Die Entwicklung sensorgestützter Schüttgutsortiersysteme geht 
im weitesten Sinne bereits knapp 100 Jahre zurück, es existiert beispielsweise 
eine betreffendes Patent aus dem Jahr 1926 [Swe26]. Aufgrund anhaltender 
und akuter Entwicklungen sind Lösungsansätze notwendiger denn je: 


Globaler Handel Die Mengen an umzuschlagendem Schüttgut nimmt dras- 
tisch zu, beispielsweise stieg die Menge der weltweiten Seefracht an Ei- 
senerz, Getreide, Kohle, Bauxit und Phosphat von 448 Millionen Tonnen 
im Jahr 1970 auf 3172 Millionen Tonnen im Jahr 2016 [UNC17]. Damit 
einher geht ein beachtlicher Verbrauchsanteil der weltweiten Energie- 
produktion [Dur00, Kap. 1]. Durch eine vorgeschaltete Sortierung des 
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Materials wird sichergestellt, dass nur das reine Zielprodukt in die Trans- 
portwege gelangt und die Mengen dadurch verringert werden [Rob+19]. 


Kreislaufwirtschaft Aufgrund verknappender natürlicher Ressourcen sowie 
erschöpfter Deponieflächen kommt der Abfallaufbereitung von Produk- 
ten eine immer höhere Bedeutung zu. Der Ausbau der Kreislaufwirt- 
schaft wird daher auch durch die Politik, z.B. durch entsprechende 
Regulierungen, gefordert. Eine aktuelle Richtlinie der Europäischen 
Union [Eur19] fordert beispielsweise eine verbindliche Mindestquote 
für den Einsatz von Plastik-Rezyklat in gewissen Verbaucherprodukten. 
Eine vergleichbare Richtlinie existiert bereits länger für Elektro- und 
Elektronik-Altgeräte [Eur12]. Selbst scheinbar selbstverständliche Res- 
sourcen wie Sand, welcher für die Herstellung von Baustoffen benötigt 
wird, verknappen. Hierdurch entsteht die Notwendigkeit des verstärkten 
Einsatzes von Recycling-Baustoffen [GRI19]. Die Schüttgutsortierung 
stellt für die Realisierung einer Kreislaufwirtschaft eine Schlüsseltech- 
nologie dar, da sie die Rückgewinnung wertvoller Ressourcen für die 
Wiederverwendung ermöglicht. 


Agrarindustrie und Lebensmittelverarbeitung Durch die wachsende Welt- 
bevölkerung steht immer weniger Anbaufläche für Lebensmittel für im- 
mer mehr Menschen zur Verfügung. Dies stellt die industrielle Land- 
wirtschaft vor große Herausforderungen. Züchter und Saatguterzeuger 
müssen sicherstellen, gesundes und qualitativ hochwertiges Saatgut an- 
zubieten. Beispielsweise müssen Pilzerkrankungen detektiert und die 
Keimfähigkeit gewährleistet werden. Vergleichbare Aufgabenstellungen 
finden sich auch in der lebensmittelverarbeitenden Industrie. Ungeziefer 
und Fremdkörper können während des Produktionsprozesses in Lebens- 
mittel gelangen und stellen für Endverbraucher eine potentielle Gefahr 
dar. Auch für diese Aufgaben stellt die sensorgestützte Schüttgutsortie- 
rung eine Lösungen dar. 


Aus diesen Beispielen lassen sich die drei Kerneinsatzbranchen der sensorge- 
stützten Schüttgutsortierung erkennen: Bergbau, Abfallaufbereitung und Le- 
bensmittelverarbeitung. Zudem spielt sie eine zentrale Rolle in der Qualitäts- 
sicherung in der Produktion [Län07]. 


Bei der sensorgestützten Schüttgutsortierung handelt es sich um eine Einzel- 
partikel-Trenntechnik. In Abgrenzung zu mechanischen Sortierverfahren wie 
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Abbildung 1.1: Schematische Darstellung des Prozesses der sensorgestützten Schüttgutsortie- 
rung. 


dem Sieben, Windsichten, oder Schwimm-/Sink-Verfahren, wird die Tech- 
nologie stellenweise auch als indirekte Sortierung bezeichnet [Gun+17], da 
die Partikelklassifikation und die Abtrennung in getrennten Schritten erfol- 
gen. Theoretisch können beliebig viele Klassen zur Sortierung erkannt werden 
und auch die Trennung in mehrere Fraktionen ist prinzipiell möglich. In in- 
dustriellen Anwendungen wird die Aufgabe jedoch vorzugsweise als binäre 
Sortieraufgabe, also die Sortierung in Produkt und Rückstände, realisiert, da 
die Mehrwegsortierung eine komplexe mechanische Handhabung erfordert. 


Abbildung 1.1 zeigt eine schematische Darstellung des Prozesses der sensor- 
gestützten Schüttgutsortierung. Zunächst wird das Material mit Hilfe eines 
Fördermechanismus dem System zugeführt. Über ein Transportmedium wird 
das Material darauffolgend weiter transportiert. Im Verlauf des Transports 
erfolgt die sensorische Erfassung. Die gemessenen Daten werden maschinell 
ausgewertet, um einzelne Partikel im Materialstrom zu detektieren und zu klas- 
sifizieren. Das Ergebnis der Klassifikation ist die Basis für die Sortierentschei- 
dung, welches mittels eines Aktors ausgeführt wird. Zwischen sensorischer 
Erfassung und Separation besteht eine Latenz, welche u. a. der benötigten Zeit 
für die Datenauswertung geschuldet ist. 


Eine besondere Stärke der Sortiertechnologie liegt in der Vielfalt einsetzbarer 
Sensoren. Hierdurch entsteht eine große Flexibilität hinsichtlich der detektier- 
baren Materialeigenschaften und somit der anzuwendenden Sortierkriterien. 
Aufgrund ihrer Eignung für Systeme mit hohen Materialdurchsätzen dominie- 
ren an dieser Stelle bildgebende Sensoren. 


1 Einleitung 


Kamera 


Linearförderer 


x RER Q Q Beleuchtung 


e 
wate Aue 7 WE OIE O97 00, 


“ten Se. 
. C2 
Förderband ‘ee, = 
` a7 


a % 


Sortierergebnis 


Düsen 


Abbildung 1.2: Schematische Darstellung eines sensorgestützten Schüttgutsortiersystems in der 
Praxis. 


Eine weit verbreitete Instanziierung gemäß dieses Schemas sind optische Band- 
sortieranlagen wie in Abbildung 1.2 dargestellt. Hier wird das Schüttgut mittels 
eines Linearförderers auf ein Förderband befördert, welches dem Transport des 
Materials dient. Die sensorische Erfassung erfolgt nach Abwurf des Materials 
von dem Förderband in einer Freiflugphase mittels einer Kamera, unterstützt 
durch eine entsprechende Beleuchtung. Die Datenauswertung findet auf einem 
Rechner statt. Die physikalische Trennung des Materialstroms wird pneuma- 
tisch durch eine Reihe an Schnellschaltventilen realisiert. 


1.1 Problemstellung 


Die Sortiereffizienz sensorgestützter Schüttgutsortiersysteme ergibt sich aus 
zwei konkurrierenden Zielgrößen: 


1. Der Sortierqualität, welche durch die Reinheit der resultierenden Sor- 
tierfraktionen beschrieben ist. 


1.1 Problemstellung 


2. Dem Massenstrom, welcher durch das System verarbeitet werden kann. 


Unter industriellen Betriebsbedingungen ist der Sortierprozess nahezu nie feh- 
lerfrei. Während des Sortierprozesses können zwei Arten von Fehlern auftre- 
ten, welche potentiell zu einer Fehlsortierung führen und die Sortierqualität 
senken. Die erste Art sind Fehler bei der Materialtrennung. In diesem Fall 
wird eine korrekte Sortierentscheidung ermittelt, aber die physikalische Aus- 
bringung des Partikels schlägt fehl, z. B. aufgrund einer fehlerhaften Ansteue- 
rung des Aktors. Die zweite Art sind Fehler bei der Materialcharakterisierung. 
Im Falle eines solchen Fehlers wird ein Partikel falsch klassifiziert, was zu 
einer falschen Sortierentscheidung führen kann. Dies entspricht der Falsch- 
zuweisung eines Partikels der korrekten Klassenzugehörigkeit Produkt zu der 
Klasse Rückstände sowie umgekehrt. 


Um eine gewünschte Sortiereffizienz zu erzielen, wird eine konkrete Sys- 
temauslegung auf die zugrundeliegende Sortieraufgabe zugeschnitten. Dies 
beinhaltet die Wahl von Förder- und Transportmechanismen, Sensorik, Da- 
tenauswertung und Aktorik. Aufgrund der gegenseitigen Einflüsse können die 
einzelnen Komponenten nicht individuell betrachtet und bewertet werden. Eine 
optimale Systemauslegung erfordert eine ganzheitliche Systemsicht. Hierdurch 
verdeutlicht sich der interdisziplinäre Charakter der Systementwicklung. In der 
Konsequenz findet sich heute eine Vielzahl verschiedener Systemauslegungen 
im industriellen Einsatz. 


Eine Gemeinsamkeit aller Auslegungen findet sich jedoch in der Verwendung 
zeilenscannender Sensoren. Hierbei werden einzelne Bildzeilen zu mehreren 
aufeinanderfolgenden Zeitpunkten aufgenommen. Da das Material während 
des Transports erfasst wird, können die einzelnen Zeilen zu einem 2D-Bild 
zusammengeführt werden. Bei der Verwendung von Farbkameras hatte der 
Einsatz von Zeilenkameras beispielsweise lange Zeit den Vorteil, dass höhere 
Auflösungen und Bildwiederholraten im Vergleich zu Flachenkameras erzielt 
wurden [Bey+12, Kap. 6]. Dies ermöglichte hohe Transportgeschwindigkei- 
ten, wodurch wiederum hohe Materialdurchsätze bewältigt werden konnten. 
Dieser Vorteil besteht heute jedoch kaum noch bzw. nicht mehr. Insbesonde- 
re Fortschritte bei CMOS-Bildsensoren ermöglichen auch bei Flächenkameras 
schnelle Auslesegeschwindigkeiten durch parallele Auslesestrukturen [B1008]. 
Ein weiterer Vorteil bei der Verwendung zeilenscannender Sensoren liegtin der 
Auswahl der Beleuchtung, da die homogene Ausleuchtung einer Zeile deutlich 
einfacher und damit auch kostengünstiger als die einer Fläche ist [Tae08]. 


1 Einleitung 


Durch den Einsatz zeilenscannender Sensoren erfolgt die Materialbewertung 
jedoch immer auf Basis eines statischen Bildes. Es wird keine Information über 
die zeitliche Dynamik, insbesondere über das Bewegungsverhalten einzelner 
Partikel, erfasst. Im Vergleich zur Prüfung durch Menschen, welche Prüfob- 
jekte z.B. über eine zeitliche Dauer beobachten und aus einer beobachteten 
Dynamik Rückschlüsse auf die Materialeigenschaften ziehen können, stellt 
dies eine starke Einschränkung dar. Diese Einschränkung wirkt sich, wie im 
Folgenden dargelegt, direkt auf beide Arten potentieller Sortierfehler aus. 


1.1.1 Einschränkungen für die Materialtrennung 


In der sensorgestützten Schüttgutsortierung erfolgen sensorische Erfassung 
und physikalische Trennung zeitlich versetzt. Dies ist notwendig, da die Da- 
tenauswertung zur Berechnung der Sortierentscheidung Rechenzeit benötigt. 
Auf Basis der Information aus der sensorischen Erfassung muss der Ort sowie 
der Zeitpunkt, an dem ein auszuschleusendes Partikel die Separationsstufe pas- 
sieren wird, berechenbar sein. Eine ungenaue oder falsche Berechnung führt 
zu einer fehlerhaften Ansteuerung des Aktors, was wiederum in einem Sortier- 
fehler resultieren kann. In der Konsequenz besteht das Risiko, dass Rückstände 
in dem vermeintlich gereinigten Produkt verbleiben. Je nach Anwendungsfall 
können die Auswirkungen von wirtschaftlichen Nachteilen bis hin zu einer 
potentiellen Gesundheitsgefährdung reichen. 


Der zeitliche Versatz tLatenz zwischen sensorischer Erfassung und Separation 
ergibt sich aus 


i (1.1) 


fLatenz = 


S| ss 


wobei d den örtlichen Abstand zwischen Inspektionslinie und Separationsstufe 
und v, die Geschwindigkeit eines Partikels in Transportrichtung beschreibt. 
Für ein Partikel, dass zum Zeitpunkt fgrfassung sensorisch erfasst wurde und 
ausgeschleust werden soll, ergibt sich der Zeitpunkt der Separation fseparation 
dann aus 

tSeparation = [Erfassung + fLatenz = TErfassung + Vo . (1.2) 

y 

Da durch den Einsatz zeilenscannender Sensoren keine Information über die 
zeitliche Dynamik vorliegt ist v, nicht aus den sensorisch erfassten Daten 
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bestimmbar. Für alle Partikel muss daher eine gleiche Geschwindigkeit ange- 
nommen werden. In der Konsequenz ist es für eine erfolgreiche Ausschleusung 
notwendig, dass alle Partikel sich in uniformer Geschwindigkeit bewegen. Die 
Transportphase muss daher nicht nur das Material befördern, sondern außer- 
dem die Einhaltung der uniformen Geschwindigkeit sicherstellen. 


Für bestimmte Materialien oder Materialmischungen ist das Erzielen einer voll- 
ständigen Materialberuhigung bzw. das Sicherstellen einer uniformen Trans- 
portgeschwindigkeit ein schwieriges Problem. Aus Gleichung (1.1) wird deut- 
lich, dass durch Reduktion des örtlichen Abstands zwischen sensorischer Er- 
fassung und physikalischer Trennung der Effekt nicht uniformer Geschwindig- 
keiten abgemildert werden kann. Durch die Reduktion der Latenz verringert 
sich jedoch ebenfalls die Zeitspanne, welche der Datenverarbeitung zur Verfü- 
gung steht. Aufgrund fester Echtzeitanforderungen muss selbst in Zeiten hoher 
Systembelastung, i. d. R. bedingt durch eine hohe Materialbelegungsdichte, die 
Datenverarbeitung abgeschlossen sein, bevor das Material die Separationsstufe 
passiert. Obwohl die Reaktionszeiten von Sensoren und Verarbeitungssyste- 
men aufgrund neuer Entwicklungen immer kürzer werden, kann der Abstand 
daher nicht beliebig minimiert werden. Hinzu kommt, dass oft nur wenige 
Millisekunden Latenz bereits dazu führen, dass die berechnete Position von 
der tatsächlichen abweicht, wenn keine vollständige Materialberuhigung erzielt 
wird [Mai+16a]. 


Beim Einsatz von pneumatischer Separation mittels Schnellschaltventilen ist 
die Vergrößerung des Ausblasfensters, d.h. die längere Aktivierung bzw. die 
Aktivierung von mehr Düsen als vermeintlich benötigt, eine gängige Strate- 
gie zur Erhöhung der Zuverlässigkeit der Ausschleusung von Partikeln, siehe 
Abbildung 1.3. Dies hat jedoch zwei wesentliche Nachteile: 


1. Es erhöht sich das Risiko, dass Partikel, die sich in der Nähe eines 
auszuschleusenden Partikels befinden, fälschlicherweise mit abgelenkt 
werden. Dieses Phänomen wird teilweise auch als Beifang bezeichnet 
und wirkt sich negativ auf die Fraktionsreinheit des ausgeschleusten 
Materials aus. 


2. Es erhöht sich die Menge der zur Ablenkung benötigten Druckluft. 
Dies wirkt sich aufgrund des erhöhten Energiebedarfs direkt auf die 
Betriebskosten aus [Sai+10]. Laut [Gül+18b] entfallen ca. 70% der 
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(a) Kleines Ausblasfenster, welches lediglich (b) Vergrößerte Version des Ausblasfensters 
die Fläche des achsenparallelen umschlie- aus (a). 
Benden Rechtecks umfasst. 


Abbildung 1.3: Schematische Darstellung vergrößerter Ausblasfenster. Die rote Raute stellt ein 
auszuschleusendes Partikel dar. Die Ortskoordinaten x quer zur Transportrich- 
tung werden auf Ventile des Düsenbalkens abgebildet. Das gestrichelte Rechteck 
beschreibt das Ausblasfenster und die Fläche somit die Zeitpunkte und Ortskoor- 
dinaten, an denen Ventile geöffnet sind. 


Betriebskosten von sensorgestützten Sortiersystemen mit pneumatischer 
Separation auf die Erzeugung von Druckluft. 


Eine weitere, mechanische Lösung des Problems ist der Einsatz sehr langer 
bzw. mehrerer Förderbänder, um das Material stufenweise vorzubeschleunigen 
und während des Transports mehr Zeit für die Eliminierung von Relativbewe- 
gung zu gewinnen. Diese Lösung ist jedoch recht kostspielig hinsichtlich der 
Anschaffungs- und Wartungskosten sowie nachteilig bezüglich des gesteiger- 
ten Platzbedarfs der Sortiersysteme. 


Die Relevanz der Problematik wird im Folgenden anhand zweier Fallbeispiel 
weiter aufgezeigt. Glas gilt als umweltverträglicher Rohstoff, da er durch 
etablierte Recyclingprozesse nahezu unendlich oft wiederverwertet werden 
kann [Fri+20]. Aus Daten des Umweltbundesamts geht hervor, dass im Zeit- 
raum zwischen 2007 und 2016 Verwertungsquoten oberhalb von 82% für Glas 
aus gebrauchten Verpackungen erzielt wurden [Umw19]. Die optische Sortie- 
rung ist fester Bestandteil der Aufbereitungskette von Glasbruch. Die Scherben 
werden nach Farbe (Weiß-, Grün- und Braunglas) getrennt, hitzebeständiges 
und bleihaltiges Glas wird aussortiert. Letzteres gilt auch für Fremdkörper. 
Eine wichtige Aufgabe bei der Glassortierung ist das Entfernen von Keramik, 
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Steinen und Porzellan, der sogenannten KSP-Fraktion. Laut Umweltbundesamt 
darf eine Tonne Altglas maximal 25 g — also lediglich 0,000 25 %o — KSP für 
die stoffliche Verwertung enthalten. Der Anteil an zulässigen Nichteisenmetal- 
len ist sogar noch geringer. Insbesondere die Steine führen bei der Sortierung 
jedoch zu Problemen: 


”In spite of the evolution of the optical sorters and the flow- 
sheets used by glass recycling industry, some contaminants are still 
difficult to remove. Contaminants with sub-spherical shape, like 
stones, are difficult to remove because, after passing through the 
optical sensor that identifies the contaminants, the stones generally 
roll down, presenting a trajectory not predicted by the system and 
being recovered with the glass.” [Dia+15, S. 202 und S. 203] 


Das zweite Beispiel stammt ebenfalls aus dem Recyclingkontext. In [Ktip+19b] 
wird der Einfluss von Rauheit und Oberflächenfeuchtigkeit von Plastikparti- 
keln auf deren Sortierung untersucht. Fiir die Sortierung von Plastik werden 
typischerweise hyperspektrale Nahinfrarotkameras eingesetzt, da hierdurch ei- 
ne Unterscheidung unterschiedlicher Polymere möglich ist. In [Küp+19b] wird 
folgender ungewollte Nebeneffekt der Beleuchtung, welcher sich auf das Be- 
wegungsverhalten auswirkt, beschrieben: 


”[...] it has been observed that the yield of TPU is temperature 
dependent. The surface of the chute [...] was heated up to 58 °C 
by the infrared radiation. In the course of this warming, despite 
the constant recognition of the correctness of the TPU pixels, the 
yield dropped from approximately 96 % to 71 %. One explanation 
for this issue may be the low softening temperature of TPU; that 
is, the plastic fibres produced by the roughening on the object sur- 
face of the TPU particles can heat up faster and thus melt on the 
contact surfaces to the chute, so that higher adhesive forces bet- 
ween chute and TPU particles arise. This results in a non-uniform 
sliding speed and thus a reduced discharge of the roughened TPU 
particles.” [Küp+19b, S. 5 und S. 6] 


Darüber hinaus werden Sortierfehler, welche durch variable Geschwindig- 
keiten sowie Bewegung quer zur Transportrichtung entstehen, in [Ktip+20b] 
explizit in die Bewertung experimenteller Ergebnisse miteinbezogen. Die Re- 
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levanz der Problematik für die Praxis wird ebenfalls aus einem Interview mit 
einem großen Hersteller von Sortieranlagen deutlich: 


”One of the challenges is that to achieve optimal sorting, material 
needs to remain in a stable position on the sorting belt. As a result, 
operators are often forced to slow belts down, making sorting 
uneconomical.” [Rev20] 


Zusammenfassend lässt sich feststellen, dass bekannte Methoden zur Eliminie- 
rung oder Tolerierung inhomogener Transportgeschwindigkeiten mit gravie- 
renden Nachteilen einhergehen. Es existieren zudem keine erprobten Ansätze, 
welche eine algorithmische anstelle einer verfahrenstechnischen Lösung des 
Problems ermöglichen. 


1.1.2 Einschränkungen für die Materialcharakterisierung 


Eine Stärke sensorgestützter Sortierverfahren liegt in der Flexibilität hinsicht- 
lich der Kriterien, welche der Sortierung zu Grunde gelegt werden können. 
Diese Flexibilität existiert aufgrund der Vielfalt einsetzbarer Sensorprinzipien 
sowie der frei programmierbaren Datenauswertung [Rob+19]. Der Einsatz von 
Röntgentransmission ermöglicht z. B. eine Sortierung nach partieller Dichte, 
Farbkameras eine Sortierung nach Form und Farbe, oder bildgebende Nahin- 
frarotspektroskopie gar eine materialspezifische Sortierung. 


Für viele etablierte und industriell umgesetzte Sortieraufgaben sind Fragestel- 
lungen hinsichtlich der Auswahl geeigneter Sensorik und der Datenauswertung 
ausführlich erforscht und zufriedenstellend gelöst (vergleiche Kapitel 2). Ins- 
besondere aufgrund großer intra-Klassen-Heterogenität, welche vorwiegend 
bei natürlichen Produkten auftritt, Kann eine fehlerfreie Materialcharakterisie- 
rung dennoch nicht grundsätzlich garantiert werden. Zudem existieren bisher 
ungelöste Sortierprobleme, für welche bis dato keine geeignete Kombination 
aus Sensorik und Datenauswertung bekannt ist. Neben möglichen Unsicher- 
heiten in der Datenauswertung, welche z.B. aufgrund statistischer Verfahren 
auftreten können, erfordert eine erfolgreiche Materialcharakterisierung im- 
mer, dass relevante Information überhaupt sensorisch erfassbar ist. Durch den 
Einsatz zeilenscannender Sensoren entstehen jedoch diesbezüglich Beschrän- 
kungen, insbesondere aufgrund der fehlenden zeitlichen Dynamik. Dies wird 
im Folgenden anhand eines plakativen Beispiels erläutert. 
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Ein gebräuchlicher Haushaltstrick zur Prüfung, ob ein Ei gekocht wurde oder 
noch roh ist, besteht darin, beide Eier auf eine ebene Oberfläche zu legen, 
ähnlich einem Kreisel in Drehung zu versetzen und deren Rotationsbewegung 
zu beobachten. Während sich das gekochte Ei gleichmäßig dreht, vollführt das 
rohe Ei aufgrund der Trägheit des flüssigen Ei-Inneren eine deutlich unruhigere 
Bewegung. Das Beispiel soll zeigen, wie ein zu prüfendes Objekt durch eine 
zielgerichtete Stimulation im Rahmen eines Experiments zu einem charakteris- 
tischen Verhalten angeregt und dessen Dynamik beobachtet wird. Der Mensch 
ist aufgrund seiner kognitiven Fähigkeiten sofort in der Lage, das beobachtete 
Bewegungsverhalten zu bewerten und beide Objekte zu unterscheiden. Gewis- 
sermaßen erfolgt hier also eine optische Prüfung anhand einer nichtoptischen 
Objekteigenschaft, nämlich des Trägheitstensors. Ohne die charakteristische 
Drehbewegung und somit ausschließlich anhand der äußerlichen, optischen 
Erscheinung, gelänge es nicht, die Eier voneinander zu unterscheiden. 


Derartige Prüfmodalitäten bleiben der sensorgestützten Schüttgutsortierung 
gemäß dem Stand der Forschung und Technik aus mindestens den folgen- 
den beiden Gründen verwehrt. Zum einen stehen nur einzelne, statische Ob- 
jektaufnahmen zur Verfügung, wodurch eine Materialprüfung auf Basis einer 
Dynamik per Definition ausgeschlossen wird. Zum anderen zielen Systeme 
entsprechend dem Stand der Forschung und Technik sogar explizit darauf ab, 
jegliche Dynamik, z.B. in Form von Relativbewegungen, zu eliminieren, um 
dadurch eine möglichst sichere Ausschleusung zu ermöglichen (vergleiche 
Abschnitt 1.1.1). 


Somit ermöglicht die sensorgestützte Schüttgutsortierung lediglich eine Dis- 
kriminierung von Objekten, welche sich bereits in ihrem statischen Erschei- 
nungsbild unterscheiden. Ist diese Voraussetzung für einzelne Partikel nicht 
erfüllt, können diese nicht charakterisiert werden. 


1.2 Zielsetzung, Lösungsansatz und 
wissenschaftliche Beiträge 


Die Zielsetzung dieser Arbeit ist die Untersuchung des Einsatzes von Hochge- 
schwindigkeitskameras als Inspektionssensorik zur Gewinnung weitergehen- 
der Merkmale, insbesondere von Bewegungsinformation über zu sortierende 
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Materialien, und deren Nutzen für die sensorgestützte Schüttgutsortierung. 
Konkret widmet sich diese Arbeit dabei der Untersuchung der folgenden drei 
Forschungsfragen: 


(A) Wie können optisch identische bzw. schwer unterscheidbare Materialien 
auf Basis ihres Bewegungsverhaltens unterschieden und somit sortiert 
werden, wodurch völlig neue Anwendungsfelder eröffnet würden? 


(B) Lassen sich durch Nutzung von Bewegungsinformation präzisere Steu- 
ersignale für die Materialausschleusung berechnen, was eine völlig neue 
Qualität der Sortierung ermöglichen würde? 


(C) Können bestehende Systemauslegungen durch Ermittlung von Bewe- 
gungsinformation bewertet und deren Parametrisierung verbessert wer- 
den, so dass auch online eine Selbst-Optimierung des Sortiersystems 
möglich wird? 


Zur Untersuchung der Forschungsfragen wird ein bildfolgenerweitertes Schütt- 
gutsortiersystem entwickelt. Hierfür wird ein bestehendes Referenzsortier- 
system gemäß dem Stand der Forschung und Technik für den Einsatz einer 
Hochgeschwindigkeitsflächenkamera ertüchtigt. Durch die Entwicklung einer 
echtzeitfähigen Bildfolgenauswertung können einzelne im Materialstrom be- 
findliche Partikel über einen Zeitraum beobachtet werden. Hierdurch wird die 
einst statisch sensorisch erfasste Information um die Komponente der Zeit 
erweitert. Durch die Realisierung eines echtzeitfähigen Multiobject-Tracking- 
Systems kann die zu mehreren Zeitpunkten erfasste Information in einen zeit- 
lichen Kontext gebracht werden. Dies ermöglicht u.a. Rückschlüsse auf par- 
tikelindividuelle Bewegungsinformation, z. B. in Form von Geschwindigkeit. 
Durch Verarbeitung dieser Bewegungsinformation wird eine Bewertung des 
Transportverhaltens des Materials ermöglicht, eine höhere Genauigkeit der 
Ansteuerung der Aktorik experimentell nachgewiesen sowie Verfahren zur 
Materialcharakterisierung auf Basis von Bewegung für die sensorgestützte 
Schüttgutsortierung entwickelt. 


Die Hauptbeiträge dieser Arbeit zum Stand der Forschung und Technik können 
wie folgt zusammengefasst werden: 


> Die Entwicklung einer echtzeitfähigen Bildauswertesoftware für die 
sensorgestützte Schüttgutsortierung unter Ausnutzung paralleler Com- 
puterarchitekturen zur Einhaltung der festen Echtzeitbedingung auch bei 
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hoher Systemlast [Mail5; Mai+16a]. Die entwickelte modulare Soft- 
warearchitektur ermöglicht die Nutzung der Bildauswertung sowohl für 
Zeilen- als auch für Flächenkameras und bildet die Grundlage für die 
Realisierung einer bildfolgenerweiterten Datenauswertesoftware für 
die sensorgestützte Schüttgutsortierung. 


Erforschung eines echtzeitfähigen Multiobject-Tracking-Systems für 
den Einsatz in der sensorgestützten Schüttgutsortierung. Ein Schwer- 
punkt liegt hierbei auf der echtzeitfähigen Lösung des Zuordnungs- 
problems durch die Entwicklung einer situationsabhängigen Algorith- 
menwahl sowie der Reduktion der Laufzeit durch die Entwicklung und 
experimentelle Erprobung einer optimierten Implementierung des Auk- 
tionsalgorithmus [Mai+16b; Mai+19b]. 


Realisierung eines experimentellen sensorgestützten Schüttgutsortier- 
systems mit Flächenkamera [Mai+18b]. Der Einsatz von Flächenka- 
meras in Verbindung mit einem Multiobject-Tracking-System für die 
sensorgestützte Schüttgutsortierung wurde bereits in [Pfa+15; Pfal9] 
vorgeschlagen und auf Basis numerischer Simulationen untersucht. Die 
erstmalige Realisierung und Erprobung in einem realen Sortiersys- 
tem erfolgt in dieser Arbeit. 


Entwicklung eines Verfahrens zur quantitativen Beschreibung des 
Transportverhaltens mittels Bewegungsanalyse, durch welches Sys- 
temparameter für Sortiersysteme gemäß dem Stand der Forschung und 
Technik parametrisiert werden können. 


Erweiterung eines experimentellen sensorgestützten Schüttgutsortier- 
systems für die Nutzung von Bewegungsinformation zur Materi- 
alausschleusung und experimenteller Nachweis der Überlegenheit des 
Verfahrens gegenüber dem Stand der Forschung und Technik [Mai+21a]. 
Hierdurch werden bedeutende Verfahrensfortschritte erzielt: sowohl 
quantitative — durch die Reduzierung des Fehlers in der Materialtren- 
nung — als auch qualitative — durch die Ertüchtigung der sensorgestützten 
Schüttgutsortierung für bisher ungelöste Sortieraufgaben. 


Entwicklung von Verfahren zur Nutzung der Bewegungsinformati- 
on zur Materialcharakterisierung sowie experimentelle Erprobung 
selbiger im Kontext der sensorgestützten Schüttgutsortierung [Mai+17; 
Mai+18a; Mai+19a; Mai+21b]. Die geleisteten Beiträge ermöglichen 
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1 Einleitung 


die Realisierung bisher ungelöster Sortieraufgaben und stellen dadurch 
einen qualitativen Fortschritt gegenüber dem Stand der Forschung und 
Technik dar. 


> Eine ausführliche Darstellung des Stands der Anwendung, For- 
schung und Technik der sensorgestützten Schüttgutsortierung. Ver- 
wandte Arbeiten werden sowohl aus Sicht der Anwendungsfelder, Sys- 
temkomponenten und -parameter sowie der Prozessparameter diskutiert. 
Die Darstellung in dieser Arbeit hebt sich hierdurch von bestehenden 
Übersichtsarbeiten, welche häufig auf einzelne Anwendungsfelder limi- 
tiert sind, ab. 


1.3 Gliederung 


Auf Basis einer holistischen Systembetrachtung werden in dieser Arbeit algo- 
rithmische Ansätze zur Erzielung von Verfahrensfortschritten in der sensor- 
gestützten Schüttgutsortierung vorgestellt. Entsprechend werden alle in Ab- 
bildung 1.1 dargestellten Prozessschritte berücksichtigt bzw. direkt adressiert. 
Die Bedeutung der einzelnen Prozessschritte für die jeweiligen Kapitel dieser 
Arbeit ist in Abbildung 1.4 schematisch dargestellt. 


Ausgangspunkt der vorliegenden Arbeit ist eine ausführliche Darlegung des 
Stands der Anwendung, Forschung und Technik in Kapitel 2. Hierfür wird 
ein mehrere Perspektiven berücksichtigender Ansatz verfolgt, welcher be- 
stehende Arbeiten nach den Anwendungsfeldern, den Systemkomponenten 
und -parametern sowie den Prozesseigenschaften einordnet und diskutiert. 
Ebenfalls erfolgt die Einführung in Methoden zur Effizienzbewertung sen- 
sorgestützter Schüttgutsortiersysteme und es werden verwandte Beispiele der 
Bildfolgenauswertung in Sichtprüfsystemen benannt. 


In Kapitel 3 wird ein Referenzsortiersystem entsprechend dem aktuellen Stand 
der Forschung und Technik vorgestellt. Dieses Referenzsystem stellt die Ba- 
sis für das im weiteren Verlauf vorgestellte experimentelle Sortiersystem mit 
Flächenkamera dar und dient dem experimentellen Vergleich der vorgestellten 
Verfahren. 


Kapitel 4 widmet sich der Entwicklung eines bildfolgenerweiterten sensorge- 
stützten Schüttgutsortiersystems und stellt somit die Basis der vorliegenden 
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Kapitel 6 
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Abbildung 1.4: Schematische Darstellung der Bedeutung der Prozessschritte der sensorgestützten 
Schüttgutsortierung für die folgenden Kapitel. Publikationen, welche im Rahmen 
der Arbeit verfasst oder zu denen Beiträge geleistet wurden, sind unter dem 
jeweiligen Prozessschritt, welcher schwerpunktmäßig adressiert wird, aufgeführt. 


Arbeit dar. Es wird eine Bildauswertung realisiert, welche sich sowohl für den 
Einsatz mit Zeilen- als auch Flächenkameras eignet, und die notwendigen Ent- 
wicklungsschritte für die bildfolgenerweiterte Datenauswertung aufgezeigt. Im 
Mittelpunkt steht die Integration eines Multiobject-Tracking-Systems, welches 
die Verfolgung einzelner im Materialstrom enthaltener Partikel über mehrere 
Bildaufnahmen hinweg ermöglicht. Der Fokus wird hierbei auf die Entwick- 
lung eines echtzeitfähigen Ansatzes zur Lösung des Zuordnungsproblems, 
einem Teilproblem des Multiobject-Trackings, gelegt. Dies beinhaltet die Ent- 
wicklung eines neuen Verfahrens zur adaptiven Algorithmenauswahl während 
der Sortierung, einer effizienten Implementierung des Auktionsalgorithmus 
für Grafikprozessoren, sowie deren experimentelle Erprobung. 


Die Vorstellung der Erweiterungen des Referenzsortiersystems um eine Flä- 
chenkamera und Flächenbeleuchtung für die bildfolgenerweiterte sensorge- 
stützte Schüttgutsortierung erfolgt in Kapitel 5. Ebenfalls erfolgt die Einfüh- 
rung zweier Referenzsortieraufgaben, welche im Laufe der Arbeit mehrfach 
aufgegriffen werden. Es folgt die Vorstellung eines Verfahrens zur Bewertung 
der Materialbewegung, welches einen quantitativen Vergleich zwischen ver- 
schiedenen Systemauslegungen hinsichtlich der Homogenität der vorliegenden 
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Materialbewegung ermöglicht. Des Weiteren wird eine Vorgabe zur Parametri- 
sierung der Ausschleusung für Systeme entsprechend dem Stand der Forschung 
und Technik erarbeitet. 


Kapitel 6 widmet sich einem Verfahren zur Nutzung partikelindividueller Be- 
wegungsinformation für die verbesserte Materialausschleusung. Auf Basis der 
gewonnen Bewegungsinformation werden hierfür präzise Steuersignale für die 
Aktorik berechnet. Für die zuvor vorgestellten Referenzsortierprobleme wer- 
den Versuchsreihen mit dem Referenzsortiersystem sowie dem bildfolgener- 
weiterten Sortiersystem vorgestellt und vergleichend bewertet. 


In Kapitel 7 werden neuartige Methoden zur Materialcharakterisierung auf Ba- 
sis von Bewegungsinformation, welche durch die bildfolgenerweiterte Schütt- 
gutsortierung gewonnen werden kann, vorgestellt. Die Methoden werden an- 
hand mehrerer Versuchsreihen evaluiert. Dies beinhaltet die Beobachtung elas- 
tischer Stöße von Prüfobjekten, dem Bewegungsverhalten beim Transport auf 
einem Förderband sowie auf einer Rutsche mit strukturierter Oberfläche. 


Die Beiträge der vorliegenden Arbeit werden in Kapitel 8 abschließend zusam- 
mengefasst und diskutiert. Zudem wird ein Ausblick auf mögliche zukünftige 
Forschungsthemen für die sensorgestützte Schüttgutsortierung geboten. 
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2 Stand der Anwendung, Forschung 
und Technik 


Die Entwicklung sensorgestützter Schüttgutsortiersysteme ist eine hochgra- 
dig interdisziplinäre Aufgabenstellung und wird daher wissenschaftlich aus 
verschiedenen Perspektiven behandelt. Ebenfalls vielseitig ist der praktische 
Einsatz in den verschiedenen Industriebereichen. In diesem Kapitel wird der 
Stand der Forschung und Technik aus Sicht der verschiedenen Anwendungen 
und der Systemauslegungen betrachtet. In Abschnitt 2.1 werden zunächst die 
verschiedenen Anwendungsfelder und damit verbundene, beispielhafte Sor- 
tieraufgaben beleuchtet. Die technischen Systemparameter und damit die Frei- 
heitsgrade bei der Systemauslegung sind Gegenstand von Abschnitt 2.2. In 
Abschnitt 2.3 werden Prozessparameter, welche direkten Einfluss auf die Sor- 
tierqualität haben und bei der Systemauslegung berücksichtigt werden müssen, 
vorgestellt und diskutiert. Bewertungskriterien zur Leistung sensorgestützter 
Schüttgutsortiersysteme werden in Abschnitt 2.4 behandelt. In Abschnitt 2.5 
werden Grundlagen zur Bildfolgenauswertung, welche zentraler Bestandteil 
dieser Arbeit ist, vorgestellt und beispielhafte Anwendungen selbiger für Sicht- 
prüfaufgaben diskutiert. Abschnitt 2.6 fasst den zuvor detailliert vorgestellten 
Stand der Anwendung, Forschung und Technik zusammen. 


2.1 Anwendungsfelder der sensorgestützten 
Schüttgutsortierung 


Die sensorgestützte Schüttgutsortierung findet vorwiegend in den Bereichen 
Bergbau, Abfallaufbereitung und Agrarprodukt- und Lebensmittelverarbeitung 
Einsatz. Abbildung 2.1 zeigt Beispiele für zu sortierende Materialien aus die- 
sen verschiedenen Anwendungsfeldern. Durch die im Folgenden vorgestellten 
Anwendungsbeispiele wird die Vielfalt der durch die sensorgestützte Schüttgut- 
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sortierung adressierten Aufgabenstellungen demonstriert. Für die Entwicklung 
neuer Verfahren sind Kenntnisse über diese Aufgabenstellungen essentiell, um 
das Potential, aber auch die Limitierung für deren Einsatz bewerten zu können. 


2.1.1 Anwendungsfelder in der Agrarprodukt- und 
Lebensmittelindustrie 


Um die große Herausforderung zu meistern, eine ständig wachsende Popu- 
lation bei rückläufigen Anbauflächen mit Nahrungsmitteln zu versorgen, un- 
terliegt die Agrarindustrie dem permanenten Druck der Effizienzsteigerung. 
Zahlreiche Beispiele für den Einsatz industrieller Sichtprüfsysteme in diesem 
Kontext, wie die Inspektion von Fisch und Fleisch, Obst und Gemüse oder auch 
Lebensmittelverpackungen, werden in [Bro+04] genannt. Auch die sensorge- 
stützte Schüttgutsortierung spielt bei der Bewältigung dieser Herausforderung 
eine wichtige Rolle. 


Zahlreiche Arbeiten befassen sich mit der Sortierung von Saatgut für den 
Pflanzenanbau. Aus [Shi+13] geht hervor, dass Mais mit etwa 5% und Reis 
sowie Weizen mit jeweils etwa 19 % zu den substantiellsten Kalorienlieferanten 
in der menschlichen Ernährung zählen. Entsprechend ist die sensorgestützte 
Schüttgutsortierung in diesen Anwendungsbereichen weit verbreitet. Eine ge- 
nerelle Untersuchung zur Eignung der Sortiertechnik für Weizenkörner wird 
in [Pea+08] vorgestellt. Besonderes Augenmerk liegt auf hohen Durchsätzen 
und niedrigen Systemkosten [Peal0]. Ein prominentes Anwendungsbeispiel in 
diesem Kontext ist das Aussortieren pilzbefallener Weizenkörner vor der Aus- 
saat [Dow+02; Del+05]. Durch die langfristige Aufbereitung von Weizensamen 
soll zudem die Resistenz gegen Krankheiten über mehrere Generationen ge- 
steigert werden [Car+19]. Andere Forschungsarbeiten beschäftigen sich damit, 
die Vitalität von Weizensamen (engl. seed vigor), welche u.a. durch Alterung 
sinken kann, bei der Sortierung zu berücksichtigen [Fan+20]. Vergleichbare 
Studien wurden auch im Kontext von Maissamen [Guo+17], für die Reissor- 
tierung [Rit+04; Cam+07; Wee+09] und für Sonnenblumensamen [Lua+20] 
veröffentlicht. 


Neben den Aufgabenstellungen rund um Saatgut wird die sensorgestützte Sor- 
tierung auch in der industriellen Verarbeitung von Lebensmitteln eingesetzt. 
In [Bay+06] wird der Einsatz zur Qualitätssteigerung in der Bulgurproduktion 
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(a) Industrieminerale 


(c) Buntglas (d) Kunststoffflakes 


(e) Metall- und Elektroschrott (£) Weizenkörner 


Abbildung 2.1: Beispiele für zu sortierende Materialien aus den Bereichen Bergbau, Recycling 
sowie Agrarprodukte und Lebensmittel. 


19 


2 Stand der Anwendung, Forschung und Technik 


beschrieben. Durchaus sicherheitsrelevante Anwendungsbeispiele finden sich 
in der Reduktion der Aflatoxinbelastung bei Aprikosenkernen [Ziv+16] oder 
der Entfernung lebertoxischer Pyrrolizidinalkaloid-haltiger Beikräuter aus dem 
Erntegut von Gewürz- und Arzneipflanzen [Tro+20; Kra+21]. Zahlreiche An- 
wendungen befassen sich auch mit der Qualitätssteigerung bei Nüssen, z. B. 
Pistazien [Pea+00] oder Mandeln [Pea+02]. Selbst für die Sortierung von 
Weintrauben nach Süße konnten Sortierverfahren erfolgreich eingesetzt wer- 
den [Laf+15]. Weitere Anwendungsfelder umfassen Bohnen, Mais für den 
Verzehr und kleine Früchte wie Tomaten und Kirschen [Ort12, Kap. 2]. 


2.1.2 Anwendungsfelder im Bergbau 


Im Bereich des Bergbaus kommt die sensorgestützte Schüttgutsortierung bei 
der Aufbereitung von Bodenschätzen zum Einsatz. Wie im Folgenden darge- 
stellt, bestehen Sortieraufgaben vorwiegend darin, zu gewinnende Erze von 
nicht metallhaltigen Begleitmineralen, sogenanntem tauben Gestein (engl. 
gangue), zu trennen. Eine besondere Herausforderung in diesem Anwendungs- 
bereich liegt darin, dass zu detektierende Materialien immer als Mischungen 
und nahezu nie in Reinform vorliegen. Zudem müssen sehr heterogene, kom- 
plexe Geometrien gehandhabt werden. Ein umfangreicher Überblick über das 
Anwendungsfeld ist in [Rob+19] dargestellt. 


Die Aufbereitung von Bodenschätzen involviert typischerweise energetisch 
sehr intensive und dadurch teure Prozessschritte. Dies betrifft insbesonde- 
re Zerkleinerungs- und Nassprozesse, wie beispielsweise Schwimm-/Sink- 
Verfahren. Neben den Energiekosten spielt der Bedarf an Elektrizität und, 
nach der Anwendung potentiell kontaminiertem, Wasser eine wichtige Rolle 
bei der Betriebszulassung einer Mine [Ver+20]. Durch steigenden Bedarf an 
bestimmten Bodenschätzen und dem fortgeschrittenen Abbau sieht sich die 
Industrie zudem mit immer geringeren Erzgehalten und komplexeren Erztypen 
konfrontiert [Kna+14; Phi+18]. 


Der Einsatz sensorgestützter Sortierung wird daher für dieses Anwendungsfeld 
wirtschaftlich immer attraktiver. Durch die Implementierung einer Voranrei- 
cherung vor diesen Prozessschritten in Form von sensorgestützter Sortierung 
kann unerwünschtes Beimaterial dem Materialstrom entnommen und so der 
Energiebedarf gesenkt werden. Zudem kann durch die freigewordene Kapazi- 
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tät der Prozessschritte der Massenstrom des Zielprodukts gesteigert werden. In 
manchen Fällen ist es zudem möglich, unter dem Beimaterial durch die Sortie- 
rung weitere wertvolle Stoffe, welche nicht dem eigentlichen Zielprodukt ent- 
sprechen, aus dem Stoffstrom zu extrahieren [Kam+12], z. B. Quarz [Bra+10]. 
Eine wirtschaftliche Analyse zum Einsatz der sensorgestützten Sortierung in 
diesem Kontext findet sich beispielsweise in [Les+14]. 


Viele publizierte Arbeiten befassen sich mit der Frage, an welcher Stelle des 
Aufbereitungsprozesses, welcher i.d.R. in Form eines Flow Chart visuali- 
siert wird, eine sensorgestützte Sortierung am effizientesten eingesetzt werden 
kann. Generell herrscht Einigkeit, dass die Voranreicherung den größten Effekt 
hat, wenn sie zu einem möglichst frühen Zeitpunkt in der Aufbereitungsket- 
te erfolgt, z.B. direkt auf dem abgetragenen Material [Li+18; Rob+19]. Im 
Rahmen einer Vorkonditionierung wird das Gestein häufig auf ein definiertes 
Korngrößenband klassiert [Gül20]. 


Für die Voranreicherung von Mineralien wird ein Mindestgehalt definiert. Die- 
ser Schwellenwert gibt an, welcher Anteil eines zu gewinnenden Elements in 
dem Gestein vorhanden sein soll, damit es weiter verarbeitet wird. Beim Einsatz 
der sensorgestützten Sortierung wird i. d. R. nicht das zu gewinnende Element 
selbst, sondern es werden vielmehr Hinweise in Form gewisser Mineralien 
detektiert, um eine Sortierentscheidung zu treffen. Viele Arbeiten setzen sich 
mit der sensorgestützten Sortierung zur Anreicherung des Kupfergehalts aus- 
einander [Dal+14; Dal+17; Phi+18; Iya+15; Gül+18a; Phi+18; Li+18; Iya+15; 
Tya+14; Nad+18; Gay+09; Iya+13]. Weitere Aufgabenfelder finden sich in 
der Lithiumgewinnung [Bra+10], der Gewinnung von Zinn durch die Detek- 
tion von Kassiterit [Ker+19], der Goldgewinnung [Von09; Dal+18; Giil+ 18a; 
Phi+ 18; Dal+15; Nad+18], der Silbergewinnung [Dal+18; Gül+18a; Dal+15], 
der Kohle- [Ket+10] bzw. Schieferkohlegewinnung [Gül+18b], der Gewinnung 
von Rohdiamanten [Mah+16] oder auch seltener Erden [Neu+17; Ver+20]. 


2.1.3 Anwendungsfelder in der Abfallaufbereitung 


In der Abfallaufbereitung ist die manuelle Sortierung durch Menschen heutzu- 
tage noch weit verbreitet. Auch in diesem Anwendungsfeld kann die Reinheit 
und damit der Wert an zurückgewonnenem Material jedoch deutlich durch den 
Einsatz sensorgestützter Sortiersysteme gesteigert werden [Anal8]. Dies ist 
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dringend notwendig, da z.B. für die Jahre 2025 bis 2035 durch eine Richt- 
linie der Europäischen Union [Eur18] eine Steigerung der Recyclingquoten 
von Siedlungsabfällen um jeweils einen Prozentpunkt pro Jahr von 55 auf 65 
Gewichtsprozent vorgeschrieben wird. 


Ähnlich zu dem Anwendungsfeld Bergbau ist die sensorgestützte Schüttgutsor- 
tierung im Kontext des Recyclings i. d. R. nur ein kleiner Bestandteil einer kom- 
plexen Aufbereitungskette, welche auch viele mechanische Sortierverfahren 
beinhaltet, wie beispielsweise in [Big+12] skizziert. Zu den typischen Verar- 
beitungsschritten gehören Sieben, Magnetabscheidung, Windsichtung, ballisti- 
sche Trennung, sensorgestützte Sortierung und manuelle Sortierung [Fei+16]. 
Es lassen sich zwei generelle Aufgabenstellungen unterscheiden: die Sortierung 
stark heterogener, gemischter Abfälle, wie z. B. nicht getrennte Siedlungsab- 
fälle, und die Sortierung bereits getrennt gesammelter Abfallfraktionen, wie 
sie z.B. bei der Abfallsammlung privater Haushalte in Deutschland anfallen. 


Ein umfangreicher Überblick über den Einsatz von sowohl mechanischen als 
auch sensorgestützten Sortierverfahren für stark heterogene Siedlungsabfälle 
istin [Gun+17] dargestellt. Die sensorgestützte Sortierung kommt für solch he- 
terogene Stoffströme i. d. R. erst spät, also nachfolgend auf diverse andere Pro- 
zesse, in der Aufbereitungskette zum Einsatz. Dies liegt zum einen daran, dass 
eine Sortierung in sehr viele Fraktionen technisch sehr aufwendig ist. Haufig ist 
aber auch eine Vorsortierung durch mechanische Verfahren schlichtweg prak- 
tikabler. Eine sensorgestiitzte Prozessüberwachung kann jedoch auch früh in 
der Aufbereitung wertvolle Erkenntnisse über die Stoffströme liefern [Vra+17; 
Cur+21]. Vereinzelt findet die sensorgestützte Sortierung auch früh, also auf 
den heterogenen Stoffströmen, Anwendung, z.B. um gezielt Glas zu extrahie- 
ren [Dia+15] oder Störstoffe für die weitere Aufbereitung als Ersatzbrennstoff, 
z. B. Polyvinylchlorid (PVC), zu entfernen [Pie+12]. 


In den im Folgenden betrachteten Arbeiten wird von einem bereits vorgereinig- 
ten Stoffstrom ausgegangen. Als prominenteste Vertreter werden die Bereiche 
Glas-, Metall- und Plastikrecycling vorgestellt. Ebenfalls wird der Schwerpunkt 
Aufbereitung von Bau- und Abbruchabfällen berücksichtigt. 
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Glassortierung 


Beim Glasrecycling wird die sensorgestützte Sortierung etwa seit den 1990ern 
eingesetzt. Für die Wiederverwendung ist die Farbreinheit von Altglasscherben 
von hoher Bedeutung. Für die Herstellung von weißem Behälterglas bei einer 
Zugabe von 50 % Altglasscherben muss z. B. eine Farbreinheit, also die Zugabe 
von tatsächlich weißem Glas, von 99,7 % vorliegen [Umw 19]. Am tolerantesten 
verhält sich Grünglas. Hier ist ein Fehlfarbenanteil von bis zu 15 % tolerabel. 
Zudem müssen Fremdstoffe, insbesondere die KSP-Fraktion [Dia+15], sowie 
hitzebeständiges [Bon+06] und bleihaltiges Glas [Gun+17] durch die Sortie- 
rung aus dem Materialstrom entfernt werden. Alle genannten Aufgaben werden 
durch den Einsatz sensorgestützter Sortierung realisiert. 


Metallsortierung 


Metallrecycling spielt sowohl bei geschredderten Bauteilen, z. B. von Bauwer- 
ken oder Fahrzeugen, als auch beim Recycling von Elektro- und Elektronik- 
Altgeräten (engl. waste electrical and electronic equipment, WEEE) eine im- 
mer größere Rolle. Beispielsweise hat sich die Nachfrage und Produktion 
von Stahl in den letzten 30 Jahren verdoppelt [Gur+12]. Der Einsatz von 
Recyclingverfahren führt zu enormen Energie- und CO,-Emissionseinspa- 
rungen [Joh+08]. Eine Übersicht zu bestehenden Sortier- und Sensortech- 
nologien sowie Anforderungen für das Recycling von Elektro- und Elektronik- 
Altgeräten findet sich in [Bru+21]. Für das Metallrecycling werden i.d.R. 
zunächst Magnetscheider eingesetzt [Gur+12]. Somit entsteht eine bereits ei- 
senfreie Fraktion, welche durch sensorgestützte Sortierung weiter aufbereitet 
werden kann. Durch sie kann beispielsweise eine Trennung von Aluminium, 
Magnesium, Kupfer und Messing erzielt werden [Mes+07; Pic12]. In [Gur+12] 
werden Eisen, Chrom und Nickel unterschieden. Eine spezielle Aufgabenstel- 
lung stellt zudem die Unterscheidung verschiedener Alluminiumlegierungen, 
insbesondere naturharter und aushärtbaren Legierungen, dar [Hat+12]. Wei- 
tere Untersuchungen beschäftigen sich mit der Aufbereitung von Materialien 
spezifischer Endprodukte, z. B. von Bildschirmen [Bon+20]. 
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Kunststoffsortierung 


GroBe Aufmerksamkeit erfahrt derzeit der Einsatz sensorgestiitzter Sortierung 
zur Aufbereitung von Kunststoff fiir das Recycling. Fiir eine umfangreiche 
Aufbereitung ist eine Unterscheidung der verschiedenen Polymere notwendig, 
welche in beliebiger Farbe auftreten können. Im Vergleich z. B. zur Glassortie- 
rung ist die Sortieraufgabe als schwierig anzusehen, da insbesondere bei den 
sogenannten Elektro- und Elektronik-Altgeraten Plasten (engl. waste electrical 
and electronic equipment plastics, WEEP) haufig komplizierte Mischungen 
oder Verbünde von Polymeren auftreten. Zudem erfährt das Material durch 
Verunreinigung und Alterung einen Verlust bzw. eine Veränderung der Eigen- 
schaften [Sig+19a]. Letzteres betrifft insbesondere den Bereich des Deponie- 
Bergbaus [Küp+20a], bei dem Rohstoffe aus bereits deponierten Abfällen zu- 
rückgewonnen werden sollen [Küp+19a]. Schwimm-/Sink-Verfahren, welche 
häufig für die Trennung verschiedener Polymere eingesetzt werden [Sig+20], 
stoßen — zusätzlich zu den bereits erwähnten generellen Nachteilen des Verfah- 
rens — bei der Aufgabenstellung an ihre Grenzen, da die Dichten bei Mixturen 
aus verschiedenen Polymeren häufig überlappen und keine Unterscheidung 
mehr erlauben [Sig+19a]. 


Ein Verfahren zur generellen Unterscheidung verschiedener Polymere am Bei- 
spiel von Polyethylenterephthalat (PET), Weich- und Hart-Polyethylen (LDPE, 
HDPE), PVC, Polypropylen (PP) und Polystyrol (PS) für die sensorgestützte 
Sortierung wird in [Anz+06] vorgestellt. Eine vergleichbare Studie, in wel- 
cher auch Acrylnitril-Butadien-Styrol (ABS) berücksichtigt wird, findet sich 
in [Zhe+18]. In [Ser+11] konzentrieren sich die Autoren auf Polyolefine, ins- 
besondere ein System zur Sortierung von Polyethylenen und Polypropylenen 
sowie Verschmutzungen. Ebenfalls wird der Unterschied zwischen neuwerti- 
gen Polymeren und Polymerpartikeln, welche aus dem Abfall stammen, explizit 
betrachtet. In [Ulr+13] liegt der Fokus auf der Unterscheidung von PET und Po- 
lylactiden (PLA), Polymeren, die vorwiegend für Lebensmittelverpackungen 
eingesetzt werden. Die Detektion von Additiven und Mixturen von Polymeren 
wird in [Bec+17] untersucht. Besondere Aufmerksamkeit erfährt zudem die 
Detektion von Schwermetallen in Polymeren [Ste+03; Hub+10], bromierten 
Kunststoffen [Ste+03; Bec+17], welche als Flammschutzmittel dienen, sowie 
chlorhaltigen Kunststoffen [Hub+14]. 
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2.1 Anwendungsfelder der sensorgestützten Schüttgutsortierung 


Aus technischen Gründen, welche in Abschnitt 2.2.2 erläutert werden, und 
wegen der Tatsache, dass sie vorwiegend bei WEEP Plastik auftreten, erfährt 
die Sortierung schwarzer Kunststoffe derzeit hohe Aufmerksamkeit [Krul8]. 
Verfahren zur Lösung dieser Aufgabenstellung werden beispielsweise für die 
generelle Polymerunterscheidung in [Roz+17; Bec+17; Küt+17] und mit Fokus 
auf Styrol-Kunststoffe und auf Polyolefine in [Sig+19a; Sig+19b] vorgestellt. 
Um die Komplexität der vorgestellten Verfahren zu senken und eine hochreine 
Sortierung zu ermöglichen wird in [Bru+15] ein alternativer Ansatz vorge- 
schlagen. Polymere sollen bei der Herstellung bereits mit Fluoreszenzmarkern 
versehen werden, welche im Sinne der Kreislaufwirtschaft bei Abfällen dann 
sensorgestützt erkannt und die Partikel somit sortiert werden können. 


Bauschuttsortierung 


Unter anderem im Zuge des drohenden Inkrafttretens der Mantelverordnung 
zur Einführung einer Ersatzbaustoffverordnung [Bun17a] in Deutschland so- 
wie der Aufforderung der Europäischen Union an ihre Mitgliedstaaten, den 
Einsatz von Rezyklat im Baustoffgewerbe erheblich zu steigern [Eur08], wird 
der Einsatz sensorgestützter Schüttgutsortierung für Bau- und Abbruchabfäl- 
le (engl. construction and demolition waste, C&DW) in den letzten Jahren 
intensiv untersucht. Rund 600 Mio. Tonnen mineralische Rohstoffe werden al- 
lein in Deutschland jährlich im Bausektor eingesetzt [Bun17b]. Gegenwärtig 
finden überwiegend Primärrohstoffe bei der Erzeugung neuer Baumaterialien 
Verwendung, da nur 81 Mio. Tonnen Bau- und Abbruchabfälle pro Jahr für 
Bauanwendungen recycelt werden. Ein Großteil des Abbruchmaterials wird 
deponiert oder als Füllmaterial im Straßenbau verwendet [Par+16]. 


Die sensorgestützte Sortierung kann essentiell dazu beitragen, diese Quo- 
te zu steigern und qualitativ hochwertige Baustoffe aus Rezyklat zu erstel- 
len [Dit+18]. Aus vergleichbaren Gründen wie beim Plastikrecycling sind 
die Sortieraufgaben als verhältnismäßig schwierig einzustufen, u.a. da ver- 
meintlich mehrere Sensoren benötigt werden [Hol+16]. Der Einsatz für die 
Grobfraktion wird in [Par+16] vorgeschlagen und in einen Aufbereitungspro- 
zess eingebettet. Der Einsatz der Schüttgutsortierung für die Feinfraktion gilt 
in diesem Kontext als besonders anspruchsvoll [Dit+18]. Durch den Einsatz 
geeigneter Fragmentierungstechnologien, z. B. der elektrodynamischen Frag- 
mentierung [Sei+21], können Verbundwerkstoffe entlang von Korngrenzen für 
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die darauffolgende Sortierung aufgetrennt werden. In [Veg+15] wird ein Sor- 
tierverfahren vorgestellt, welches es ermöglichen soll, für den Recyclingpro- 
zess besonders kritische Stoffe, nämliche organische, Gips und Porenbeton, aus 
dem Materialstrom zu entfernen. [Hol+16] beschäftigt sich mit zwei speziellen 
Recyclinglinien, welchen besonderes Potential für die industrielle Etablierung 
zugesprochen wird. Der in [Hol+16] beschriebene Zyklus ”Grau-zu-Grau” be- 
schreibt die Aufreinigung für Beton und Putz, der Zyklus ”Rot-zu-Rot” selbige 
für Ziegel und Keramik. 


2.2 Systemkomponenten und -parameter 


Der Prozessablauf der sensorgestützten Schüttgutsortierung lässt sich in vier 
bis fünf Phasen einteilen [Sal+91; Klel2; Ker+19; Rob+19; Wot+20]. Diese 
Phasen spiegeln sich in den Systemkomponenten und -parametern wider, wel- 
che im Folgenden genauer betrachtet werden. Die gängigste Einteilung lautet: 


Präsentation Diese Phase beschreibt den Vorgang, wie das Material dem 
System zugeführt bzw. innerhalb des Systems transportiert wird. 


Sichtung Unter dieser Phase versteht man die Erfassung im Materialstrom 
enthaltener Partikel mittels eines oder mehrerer Sensoren. 


Datenauswertung In dieser Phase erfolgt die automatische Auswertung und 
bei Multi-Sensor-Systemen ggf. Fusion der Sensordaten mit dem Ziel, 
eine Sortierentscheidung zu berechnen. 


Separation Die letzte Phase beschreibt die physikalische Abtrennung einzel- 
ner Partikel aus dem Materialstrom. 


Neben dieser Vier-Phasen Einteilung nehmen viele Arbeiten auch die Vorkon- 
ditionierung des Materials, z. B. in Form von Zerkleinern oder Klassieren, als 
eigenen, ersten Prozessschritt mit auf [Bat+16; Ver+20; Kna+14]. In [Gül20] 
werden analog zu diesen Phasen Parameter eines Sortiersystems definiert. Die 
geometrischen Parameter adressieren hierbei den mechanischen Aufbau, also 
die Wahl des Transportmediums sowie dessen Parameter, die Positionierung 
des Sensors, der Beleuchtung und der Separationseinheit, sowie die Anzahl 
der genutzten Aktoren. 
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2.2 Systemkomponenten und -parameter 


Im Folgenden werden die Systemkomponenten, die in den jeweiligen Phasen 
der sensorgestützten Schüttgutsortierung zum Einsatz kommen, und deren Pa- 
rameter im Detail betrachtet. Die Reihenfolge entspricht dabei derjenigen, wie 
das Material mit fortschreitender Zeit durch das System gelangt. 


2.2.1 Materialzuführung und -transport 


Die Materialzuführung ist stark von dem Gesamtprozess, in den die sensorge- 
stützte Sortierung eingebettet ist, abhängig bzw. häufig durch selbigen vorgege- 
ben. Sie hat die Aufgabe, das Material möglichst vereinzelt der Transportphase 
zuzuführen. Durch die Gleichverteilung des Materials über die gesamte Sor- 
tierbreite können Sortiersysteme i. d. R. bestmöglich ausgelastet werden. Die 
Beschickung erfolgt vorwiegend über Schwingförderer, welche ggf. mit einem 
zusätzlichen Einfülltrichter ausgestattet sind [Fei+ 19]. Ein Foto einer beispiel- 
haften Zuführung ist in Abbildung 2.2 zu sehen. 


Die Transportphase hat in der sensorgestützten Schüttgutsortierung neben der 
eigentlichen Beförderungsaufgabe weitere Ziele, deren Erfüllung sich stark auf 
die Qualität der Sortierung auswirken kann [Fei+19]. Es muss sichergestellt 
werden, dass das Material sich in einer Monolage befindet, es dürfen also keine 
Partikel übereinander liegen. Dies könnte ansonsten zu Verdeckungen während 
der Sichtung führen. Zudem muss eine Vereinzelung erreicht und somit Par- 
tikelagglomerate vermieden werden. Dies ist aus zweierlei Gründen wichtig. 
Zum einen muss sichergestellt werden, dass der Abstand zwischen Partikeln 
groß genug ist, sodass eine Einzelpartikeltrennung noch möglich ist. Hierfür 
spielt die zeitliche und örtliche Auflösung der Separation eine große Rolle. 
Ist die Vereinzelung nicht ausreichend, können durch ein einzelnes Aktivieren 
der Aktorik fälschlicherweise mehrere Partikel gleichzeitig vom Materialstrom 
getrennt werden, siehe Abschnitt 2.2.4. Zum anderen muss es der Datenauswer- 
tung möglich sein, Einzelpartikel als solche zu erkennen. Bei ungenügender 
Vereinzelung könnten Partikelagglomerate fälschlicherweise als einzelne Par- 
tikel erkannt werden. Zuletzt muss die Transportphase gewährleisten, dass das 
Material hinreichend beruhigt wird. Darunter wird die Eliminierung jeglicher 
Relativbewegung einzelner Objekte verstanden. Die Gründe für letzteres wur- 
den bereits in Abschnitt 1.1 erläutert. 
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Abbildung 2.2: Materialzuführung über einen Schwingförderer. In diesem Beispiel wird das Ma- 
terial zusätzlich über eine Rutsche vorbeschleunigt und am Ende der Rutsche auf 
ein Förderband aufgegeben. Quelle: Fraunhofer IOSB 


Zu den drei vorwiegend in der sensorgestützten Schüttgutsortierung eingesetz- 
ten Transportmechanismen zählen Förderbänder, Rutschen, sowie der Trans- 
port im freien Fall. Eine schematische Darstellung der jeweiligen Varianten 
ist in Abbildung 2.3 zu sehen. Weitere, in der Praxis vergleichsweise selten 
anzutreffende Varianten werden in [Rob+19] genannt. Im Folgenden werden 
die drei genannten Varianten hinsichtlich ihrer Vor- und Nachteile sowie ihrer 
Parameter betrachtet. Eine neuartige Methodik zur Bewertung des Transport- 
verhaltens einzelner im Materialstrom enthaltener Partikel wird in [Bit17; 
Mai+20] vorgestellt. 


Transport mittels Förderband Den zuvor genannten Anforderungen an die 
Transportphase werden flache Förderbänder vermeintlich am besten gerecht. 
Der schematische Aufbau ist in Abbildung 2.3a dargestellt. Die im Material- 
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(a) Transport über ein flaches Förderband. 
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(c) Transport mittels freiem Fall. 


Abbildung 2.3: Schematische Visualisierung des Transports mittels (a) Förderband, (b) Rutsche 
und (c) freiem Fall. Die grünen Objekte repräsentieren zu akzeptierende Partikel 
und die roten diejenigen, die aus dem Strom entfernt werden sollen. Der gelbe 
Strahl skizziert die Inspektionslinie des Sensors und der blaue den Wirkungsbe- 
reich der Aktorik. Bei den dargestellten Schemata (a) und (b) könnte alternativ die 
sensorische Erfassung auch auf dem Transportmedium, also auf dem Förderband 
oder auf der Rutsche, erfolgen. 


29 


2 Stand der Anwendung, Forschung und Technik 


strom enthaltenen Partikel werden auf die eingestellte Bandgeschwindigkeit 
beschleunigt bzw. abgebremst und bleiben, insbesondere bei rauen Gurten, 
auf ihrer flachen Seite liegen. Im Anwendungsbereich Agrarprodukt- und Le- 
bensmittelindustrie kann es jedoch aus Gründen der Hygiene und Reinigungs- 
möglichkeiten erforderlich sein, möglichst glatte Gurte einzusetzen. Um eine 
höchstmögliche Vereinzelung zu erreichen ist es zudem üblich, das Material 
sequentiell über mehrere Förderbänder mit steigender Bandgeschwindigkeit zu 
transportieren, um das Material weiter auseinanderzuziehen [Fei+19]. Nach- 
teilig am Einsatz von Förderbändern sind die Kosten. Neben vergleichsweise 
hohen Investitionskosten und einem gesteigerten Platzbedarf betrifft dies auch 
die Betriebskosten in Form von Strom sowie Verschleiß des Gurts. Durch viele 
bewegliche Teile sind sie zudem wartungsintensiv und ggf. wird sogar eine 
Zustandsüberwachung nötig, um Verschleiß und sich ankündigende Defekte 
früh zu erkennen [Liu+18]. Parameter dieser Transportvariante sind u.a. die 
Bandlänge, die Bandgeschwindigkeit, sowie das Material und die Struktur des 
Gurts. Übliche Werte für die Bandgeschwindigkeit bewegen sich zwischen 
1ms™! und 4ms7! [Fei+19]. 


Transport mittels Rutsche Rutschen, insbesondere im Kontext des Berg- 
baus auch häufig als Schurren bezeichnet, stellen eine im Vergleich zu Förder- 
bändern kostengünstige Alternative darf. Ein entsprechender Aufbau ist in Ab- 
bildung 2.3b zu sehen. Die Beschleunigung des Materials erfolgt durch die 
Schwerkraft. Da es keine beweglichen Teile gibt, sind Rutschen deutlich war- 
tungsärmer als Förderbänder, obgleich, je nach Oberflächenmaterial, auch hier 
ein Verschleiß der Oberfläche auftreten kann [Cam+07]. Im Gegenzug bieten 
Rutschen häufig nur eine geringe Materialberuhigung, was u. a. an der perma- 
nenten Reibung der Oberfläche mit den Partikeln, welche entlang der Rutsche 
beschleunigen, liegt. Daher werden, insbesondere im Lebensmittelbereich, teil- 
weise auch Rutschen mit Rillen eingesetzt, welche eine bessere Führung des 
Materials ermöglichen. Dies ist jedoch nachteilig hinsichtlich der Skalierbar- 
keit des Materialdurchsatzes, da für eine Erhöhung weitere Rillen hinzugefügt 
werden müssen. In [Stu+92] werden diverse Design-Prinzipien beim Einsatz 
von Rutschen für den Schüttguttransport diskutiert. Zu den Parametern dieser 
Transportvariante gehören u. a. die Rutschenlänge, der Neigungswinkel, sowie 
das Oberflächenmaterial. 
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Transport mittels freiem Fall Ein Transport des Materials im freien Fall, 
wie in Abbildung 2.3c zu sehen, stellt die kostengünstigste Lösung dar. Die 
Beschleunigung erfolgt in dieser Variante ebenfalls durch die Schwerkraft. 
Das Einsatzgebiet solcher Sortierer ist jedoch stark beschränkt, da die im Ma- 
terialstrom enthaltenen Partikel sich nur begrenzt in ihrem Luftwiderstand 
unterscheiden dürfen. Andernfalls ergeben sich Unterschiede in der Transport- 
geschwindigkeit, was zu Problemen bei der Datenerfassung, z. B. Farbsäume 
beim Einsatz von Farb-Zeilenkameras, sowie bei der Separation führen kön- 
nen. Bei Verunreinigung durch unbekannte Fremdprodukte kann dies nur sehr 
selten garantiert werden. Im Gegensatz zu Förderbändern und Rutschen, bei 
welchen Partikel typischerweise auf einer flachen Seite, sofern vorhanden, lie- 
gen bleiben, erfahren Partikel beim Transport mittels freiem Fall ebenfalls keine 
Ausrichtung. Durch ein Treibwalzenpaar lassen sich die Partikel jedoch ggf. 
so ausrichten, dass ihre flache Seite zur Sensorik hin ausgerichtet ist [Sal+91]. 


2.2.2 Sensorik 


Die vielseitigen Einsatzbereiche der sensorgestützten Schüttgutsortierung sind 
das Resultat der großen Vielfalt einsetzbarer Sensoren. Um einen hohen Ma- 
terialdurchsatz zu ermöglichen, kommen in erster Linie bildgebende, zeilen- 
scannende Sensoren zum Einsatz. Hierbei wird eine große Bandbreite des 
elektromagnetischen Spektrums, von Röntgenstrahlung bis hin in den Tera- 
hertzbereich, abgedeckt. Die Wahl des Sensors richtet sich nach den Material- 
eigenschaften, nach welchen die Sortierung erfolgen soll. Kann eine einzelne 
Sensorik die Aufgabe nicht erfüllen, kommen Multi-Sensor-Systeme zum Ein- 
satz [Kat+03]. Im Zuge der Datenauswertung müssen die Informationen aus 
den verschiedenen Quellen dann fusioniert werden. 


Tabelle 2.1 gibt einen Überblick über die am gängigsten in der sensorgestützten 
Schüttgutsortierung eingesetzten Sensoren. Im Folgenden werden deren Funk- 
tionsprinzip vorgestellt sowie beispielhafte Anwendungen benannt. Neben den 
dominierenden bildgebenden Sensoren werden zu Ende des Abschnitts auch 
Beispiele für nicht-bildgebende Systeme erläutert. 


2 Stand der Anwendung, Forschung und Technik 


Tabelle 2.1: Überblick über die in der sensorgestützten Schüttgutsortierung eingesetzten Sensor- 
prinzipien und deren Anwendungsfelder. 


Sensorprinzip Anwendungsbeispiele 

Mineralien 
Röntgensensoren Nichteisenmetalle 

Holz 

Getreide 
Farb-Zeilenkameras Reis 

Glas 

Getreide 

Mineralien 
Infrarot- und Hyperspektralkameras 

Kunststoffe 

Bauschutt 
Terahertz-Spektroskopie Kunststoffe 

Metalle 
Laserinduzierte Plasmaspektroskopie 

Kunststoffe 

Mineralien 
Laserinduzierte Fluoreszenzspektroskopie 

Kunststoffe 

Röntgensensoren 


Röntgenstrahlen sind im Wellenlängenbereich zwischen 10 pm und 10 nm an- 
gesiedelt. In der Röntgen-Sortierung kommen im Wesentlichen zwei röntgen- 
spektroskopische Verfahren zum Einsatz: 


e Röntgenabsorptionsspektroskopie in Transmission in der Form von 
Dual-Energy Röntgen-Transmission (engl. Dual-Energy X-ray Trans- 
mission, DE-XRT) 


e Röntgenfluoreszenzanalyse (engl. X-ray Fluorescence, XRF) 
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XRT ist ein Messprinzip, welches von den Sicherheitskontrollen an Flughäfen 
bekannt ist. Eine Erläuterung des DE-XRT Messprinzips für die sensorgestütz- 
te Schüttgutsortierung ist in [Neu+17] gegeben. Röntgenstrahlen bestimmter 
Wellenlängen werden von einer Röntgenquelle emittiert, welche i. d. R. über 
dem Transportmedium, z. B. dem Förderband, angebracht ist. Beim Durchdrin- 
gen des Schüttguts werden die Strahlen von dem Material anteilig absorbiert, 
wobei die Absorptionseigenschaften materialspezifisch sind. Elemente mit ei- 
ner tiefen Ordnungszahl absorbieren weniger Röntgenstrahlen als jene mit 
einer hohen Ordnungszahl. Der Sensor befindet sich gegenüber der Röntgen- 
quelle, so dass sich das Schüttgut zwischen Quelle und Sensor befindet. Er 
misst die Intensität der abgeschwächten Röntgenstrahlen, welche das Materi- 
al durchdrungen haben und nicht absorbiert wurden. Diese werden dann als 
Röntgenbilder pixelweise zusammengefasst. Bei DE-XRT Systemen werden 
nach diesem Prinzip zwei solche Bilder, ein hoch- und ein niederenergetisches, 
aufgenommen. Dies ermöglicht die Berechnung der Dicke der gescannten Par- 
tikel, welche einen direkten Einfluss auf die Absorptionscharakteristiken hat. 


Bei der XRF-Messung befinden sich Röntgenquelle und Sensor auf der glei- 
chen Seite des Materials, also oberhalb des Transportmediums [Gun+17]. Die 
Elemente eines Schüttgutpartikels werden durch die Absorption der Rönt- 
genstrahlung angeregt und emittieren elementspezifische Röntgenfluoreszenz- 
strahlen. Als Faustregel gilt dabei, dass umso geringere Vorkommen eines 
Elements messbar sind, je höher dessen Ordnungszahl ist. Elemente mit einer 
Ordnungszahl kleiner 5 (Bor) gelten als nicht detektierbar [Bre+13, Kap. 15]. 


Röntgen-Schüttgutsortierer kommen vorwiegend in den Anwendungsfeldern 
Bergbau und Recycling zum Einsatz. Konkret wird XRF beispielsweise zur 
Ermittlung des Kupfergehalts in Erzen eingesetzt [Li+18; Nad+18]. Weitere 
Sortieraufgaben beinhalten die Ermittlung der Schwermetallkontamination in 
Holz [Sol+04], die Diskriminierung von PVC und PET [Gun+17] oder die Sor- 
tierung von Nichteisenmetallen in Abfallvorkommen [Pfa+19]. DE-XRT wird 
u. a. zur Detektion von seltenen Erden in Erzen [Neu+17; Ver+20], für die Koh- 
leaufbereitung [Ket+10], sowie die Sortierung von Nichteisenmetall [Mes+07] 
eingesetzt. In der Lebensmittelindustrie hat sich die Technologie für Inspekti- 
onssysteme zur Detektion von Fremdkörpern etabliert [Moh+18]. 
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Farb-Zeilenkameras 


Farb-Zeilenkameras sind im visuellen (VIS) Spektrum, also dem für den Men- 
schen sichtbaren Wellenlängenbereich von 380 nm bis 780 nm, sensitiv. Aus 
dem genannten Wellenlängenbereich werden drei Farbkanäle gewonnen, wel- 
che den Farben blau, grün und rot entsprechen. Es existieren verschiedene 
Sensormuster, um die drei Wellenlängenbereiche zu messen. 


Beim tri-linearen Sensormuster existieren drei physikalisch getrennte Sen- 
sorzeilen, welche mit entsprechenden optischen Filtern versehen sind. Diese 
werden mit einem zeitlichen Versatz ausgelesen, welcher entsprechend der 
Transportgeschwindigkeit der Szene orthogonal zu den Sensorzeilen konfi- 
guriert werden muss, damit die selbe Szene in allen Kanälen aufgenommen 
wird. Bei Abweichung von dieser Konfiguration kann es zu ungewollten Farb- 
artefakten kommen, da die Registrierung der Farbkanäle nicht mehr passend 
ausgeführt wird. Dieser generell störende Effekt kann genutzt werden, um 
Informationen über die Bewegung aufgenommener Schüttgutpartikel zu extra- 
hieren [Pfa+17b], jedoch nur in stark eingeschränktem Maße. Verhindern lässt 
sich der Effekt durch den Einsatz eines Prismas, in dem das einfallende Licht 
auf die drei separaten Zeilensensoren verteilt wird, welche dann zeitgleich 
ausgelesen werden. 


Bei bi-linearen Sensormustern werden zwei der drei Farbkanäle, üblicherweise 
rot und blau, in einer Sensorzeile kombiniert, indem abwechselnd jeweils ein 
Pixel für den entsprechenden Bereich sensitiv ist. Eine zweite Sensorzeile 
ist dann für die dritte Farbe, üblicherweise grün, sensitiv. Somit wird die 
Problematik der Registrierung entschärft, aber nicht umgangen. 


Beim Monoline-Muster wird nur eine Sensorzeile verwendet. Die darin enthal- 
tenden Makropixel bestehen aus drei nebeneinanderliegenden Pixeln, welche 
jeweils für einen Farbbereich sensitiv sind. Somit werden alle Farben ohne 
den kostspieligen Einsatz eines Prismas zum gleichen Zeitpunkt, jedoch mit 
minimalem örtlichen Versatz, aufgenommen. 


Farb-Zeilenkameras werden sowohl für Reflexions- als auch Transmissions- 
messungen, z.B. bei der Farbglassortierung, eingesetzt. Sie kommen in al- 
len Anwendungsfeldern der sensorgestützten Schüttgutsortierung zum Einsatz. 
Aufgaben aus dem Bereich Agrarprodukt- und Lebensmittelindustrie sind z.B. 
die Sortierung verschiedener Weizenkörner [Pea+08; Peal0; Car+19], die Rei- 
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nigung von Bulgur [Bay+06], die Reissortierung [Wee+09] sowie die Sortie- 
rung von Sonnenblumensamen [Lua+20]. Eines der prominentesten Anwen- 
dungsbeispiele im Recycling-Bereich ist die Farbglassortierung [Dia+15]. Eine 
Anregung durch ultraviolettes (UV) Licht führt zudem bei Sonderglas, z.B. 
Bleiglas, zu Fluoreszenzeffekten, welche ebenfalls eine Sortierung mit Hilfe 
einer Farb-Zeilenkamera ermöglichen [Gun+17]. Arbeiten im Bereich Berg- 
bau befassen sich mit der Sortierung bereits aufbereiteter Mineralien [Gül+17] 
und der Braunkohleaufbereitung [Gül+17]. Farbkameras werden häufig auch 
in Multisensorsystemen eingesetzt, insbesondere in Verbindung mit Infrarot- 
kameras [Ser+11; Hol+16]. Selbst wenn die zu extrahierende Information nicht 
dem sichtbaren Licht entnommen werden kann, werden VIS Kameras dennoch 
häufig aufgrund der hohen verfügbaren Ortsauflösung für die präzise Lokali- 
sierung einzelner Partikel als ergänzende Sensorik verwendet. Eine weitere für 
die sensorgestützte Schüttgutsortierung relevante Variante stellen Farbkameras 
ergänzt um einen vierten, im nahen Infrarot sensitiven Kanal dar. 


Infrarot- und Hyperspektralkameras 


Der Spektralbereich der Infrarotstrahlung erstreckt sich je nach Definition et- 
wa von 780nm bis | mm und wird in die Unterbereiche nahes Infrarot (engl. 
Near Infrared, NIR), ca. 780 nm bis 1,4 um, kurzwelliges Infrarot (engl. Short- 
wavelength Infrared, SWIR), ca. 1,4 um bis 3 um, mittleres Infrarot (engl. Mid 
Infrared, MIR), ca. 3 um bis 50 um, und fernes Infrarot (engl. Far Infrared, 
FIR), ca. 50 um bis 1 mm, eingeteilt. Neben einkanaligen und multispektra- 
len Kameras in diesem Spektralbereich haben sich in den vergangenen Jah- 
ren insbesondere Hyperspektralkameras als eine der am meisten eingesetzten 
Sensoriken in der sensorgestützten Schüttgutsortierung etabliert. Der Begriff 
Hyperspektral bezeichnet die nahezu kontinuierliche spektrale Abtastung, wel- 
che i.d. R. in mehreren hundert Spektralkanälen resultiert. Die enthaltene In- 
formation lässt Rückschlüsse auf chemische Materialeigenschaften zu. Die 
hyperspektrale Bildgebung (engl. Hyperspectral Imaging, HSI) liefert neben 
örtlicher auch spektrale Information über die Szene und somit ein dreidimen- 
sionales Bild. 


Hyperspektralkameras im SWIR Bereich sind seit einigen Jahren für den 
industriellen Einsatz in der sensorgestützten Schüttgutsortierung ertüchtigt 
und seit wenigen Jahren auch aufgrund sinkender Preise wirtschaftlich at- 
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traktiv. Seitdem hat HSI Einzug in alle Anwendungsbereiche erhalten. In der 
Agrarprodukt- und Lebensmittelindustrie werden SWIR Sensoren für die Reis- 
sortierung [Rit+04] sowie die Bewertung von Weizenkörnern [Fan+20] ein- 
gesetzt. SWIR-HSI gilt zudem als Standardverfahren für die Detektion von 
Pilzbefall bei Getreide [Fem+20]. Im Anwendungsbereich Bergbau wird HSI 
als eine von zwei Technologien genannt, welche in der letzten Dekade zum 
Ausbau des Anwendungsbereichs beigetragen hat [Rob+19]. SWIR-HSI wird 
zur Ermittlung des Kupfergehalts in Erzen [Dal+14; Dal+17] bzw. der gene- 
rellen Mineralcharakterisierung [Dal+18], sowie zur Bestimmung des Silber-, 
Gold-, Kohlenstoff- Schwefelgehalts [Dal+15] eingesetzt. In [Gül+18b] wird 
die Überlegenheit eines SWIR Sensors gegenüber einer VIS Kamera bei der 
Braunkohleaufbereitung dargelegt. Im Recycling-Bereich werden SWIR bzw. 
SWIR-HSI Kameras vorwiegend für die Sortierung von Bau- und Abbruchab- 
fällen [Veg+15; Hol+16] sowie die Plastiksortierung verwendet. Hinsichtlich 
letzterem hat die Technologie die manuelle Sortierung bei Leichtverpackungen 
bereits nahezu ersetzt und gilt als integraler Bestandteil der Recyclingprozes- 
se [Fei+19]. Weitere Aufgaben sind die generelle Diskriminierung verschiede- 
ner Polymere [Zhe+18], von Polyethylenen und Polypropylenen [Ser+11], von 
PET und PLA [Ulr+13] oder die Detektion von PVC [Pie+12]. 


Eine Schwachstelle beim Einsatz von SWIR-HSI für die Kunststoffsortierung 
ist die mangelnde Eignung für die Erkennung schwarzer Kunststoffe. Der 
Grund dafür ist, dass für die schwarze Färbung heutzutage vorwiegend Ruß, 
welcher zu einem großen Anteil aus Kohlenstoff besteht, eingesetzt wird. Dies 
führt zu einer sehr hohen Absorption der Strahlung im SWIR, so dass kein 
verwertbares Signal mehr erfasst werden kann!. 


Diese Einschränkung gilt nicht für den MIR Bereich, jedoch galten MIR-HSI 
Kameras bis vor kurzem als zu langsam, zu niedrig in der spektralen Auflösung 
und zu minderwertig hinsichtlich des Signal-Rausch-Verhältnisses [Roz+17]. 
Jüngste technologische Entwicklungen haben jedoch entsprechende Senso- 
ren für den erfolgreichen Einsatz in der sensorgestützten Schüttgutsortierung 
ertüchtigt. Der Einsatz von MIR-HSI ist insbesondere für WEEP äußerst inter- 
essant, da entsprechende Plasten sehr häufig schwarz sind [Sig+19a; Sig+19b]. 
In [Roz+17] wird die generelle Unterscheidung verschiedener Polymere inkl. 


! Tn den letzten Jahren wurden jedoch Schwarz-Färbeverfahren, welche keinen Ruß einsetzen und 
eine Charakterisierung im SWIR ermöglichen, vorgestellt. 
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schwarzer Partikel sowie diversen Additiven und Mixturen in [Bec+17] mit- 
tels MIR-HSI aufgezeigt. In [Krul8] wird der Einsatz der Sensorik für die 
sensorgestützte Schüttgutsortierung anhand industriell verfügbarer Anlagen 
experimentell überprüft. 


Terahertz-Spektroskopie 


Unter Terahertzstrahlung wird Strahlung im Wellenlängenbereich zwischen 
30 um und 3 mm bei einer Frequenz zwischen 0,1 THz und 1 THz verstanden. 
Entsprechende zeilenscannende Sensoren für diesen Spektralbereich wurden 
jüngst entwickelt und für den in-line fähigen Einsatz ertüchtigt. Die Technolo- 
gie ist derzeit insbesondere von wissenschaftlichem Interesse. Ein industrieller 
Einsatz für die sensorgestützte Schüttgutsortierung ist nicht bekannt. 


In [Küt+17] wird ein Zeilenscanner im niedrigen Terahertzbereich zwischen 
84 GHz und 96 GHz für die Sortierung verschiedener Polymere vorgestellt. 
Als Stärke des Verfahrens wird die Möglichkeit zur Diskriminierung schwarzer 
Kunststoffe hervorgehoben. Aufgrund der stark limitierten örtlichen Auflösung 
des neu vorgestellten Sensors wird ein experimentelles Sortiersystem durch 
eine Zeilenkamera im VIS ergänzt. 


Laserinduzierte Plasmaspektroskopie 


Laserinduzierte Plasmaspektroskopie (engl. Laser Induced Breakdown Spec- 
troscopy, LIBS) ist ein zerstörungsarmes Verfahren zur Bestimmung der ele- 
mentaren Zusammensetzung einer Probe. Durch einen kurzen, energiereichen 
Laserimpuls wird ein Bruchteil (in der Größenordnung von Mikrogramm) der 
Probe verdampft. Hierbei werden Elektronen aus der äußeren Hülle der Ato- 
me geschleudert und dadurch Plasma erzeugt. Wenige Nanosekunden später 
entstehen durch das Abkühlen der angeregten Atome materialcharakteristische 
Emissionen, welche durch ein Spektrometer erfasst werden und eine Identi- 
fikation und Quantifizierung der in der Probe enthaltenen Elemente ermögli- 
chen. Die Wahl des Spektrometers bzw. des Wellenlängenbereichs, der erfasst 
werden soll, erfolgt dabei aufgabenabhängig. Das Verfahren lässt sich in Echt- 
zeitumgebungen, wie der sensorgestützten Schüttgutsortierung, einsetzen und 
hat daher den Einzug in industrielle Anwendungen erreicht. 
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LIBS kommt in den Anwendungsfeldern Bergbau und Recycling zum Ein- 
satz, in der Agrarprodukt- und Lebensmittelindustrie sind solche Sortiersyste- 
me nicht anzutreffen. Neben der Metallsortierung [Gur+12] liegt ein Anwen- 
dungsfokus im Plastikrecycling. Eine generelle Unterscheidung verschiedener 
Polymere wird in [Anz+06] aufgezeigt. Es bestehen keine Einschränkungen 
bei schwarz gefärbten Kunststoffen. In [Fin+01] wird aufgezeigt, wie das Ver- 
fahren zur Analyse thermoplastischer Kunststoffe verwendet werden kann, 
woraus sich eine potentielle Sortieranwendung ergibt. Zudem eignet sich das 
Verfahren für die in-line Detektion von bromierten [Ste+03], schwermetallbe- 
lasteten [Ste+03; Hub+10] sowie chlorhaltigen [Hub+14] Polymeren. 


Laserinduzierte Fluoreszenzspektroskopie 


Laserinduzierte Fluoreszenzspektroskopie (engl. Laser Induced Fluorescence 
Spectroscopy, LIFS) ist ein zerstörungsfreies Verfahren, welches in den letzten 
Jahren verstarkt im Bereich der Materialforschung und -charakterisierung ein- 
gesetzt wird. Genau wie bei LIBS wird die Probe durch einen Laser angeregt. 
Hierfiir kommen bei LIFS UV-Laser zum Einsatz. Durch die Energiezufuhr 
werden Atome aus einem stabilen Zustand kurzzeitig auf ein höheres, insta- 
biles Niveau gehoben. Beim Rückfall in den stabilen Grundzustand werden 
dann Photonen mit einer längeren Wellenlänge emittiert. Dies führt bei be- 
stimmten Materialien zu einer kurzlebigen Fluoreszenz. Die Fluoreszenz liegt 
dabei in einem leicht höheren Wellenlängenbereich als die Anregung und wird 
durch hyperspektrale Sensorik im UV-VIS Bereich beobachtet. Die Intensität 
der Fluoreszenz wird dabei zeitaufgelöst aufgenommen, wodurch auch das 
Abklingverhalten beobachtet werden kann. Die so entstehende spektrale In- 
formation über die Zeit bildet dann eine Art Fingerabdruck, mit dem sich 
Materialien charakterisieren lassen. Eine Elementaranalyse ist jedoch nicht 
möglich [Vin+07]. 


LIFS findet im Anwendungsbereich Bergbau Einsatz, da die beschriebene 
Fluoreszenz in fast allen Mineralien angeregt werden kann. Die Auswertung 
der zeitaufgelösten Fluoreszenz ermöglicht beispielsweise die Unterscheidung 
verschiedener Erze [Bro00; Bro01] und findet bei der Braunkohleanreicherung 
Anwendung [Nie+03]. Ebenfalls wird LIFS im Anwendungsbereich Recy- 
cling für die Kunststoffsortierung eingesetzt [Spi+16]. Insbesondere bestehen 
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keine Einschränkung hinsichtlich mit Ruß eingefärbten schwarzen Kunststof- 
fen [Vin+07]. 


Nicht-bildgebende sensorgestützte Sortierverfahren 


Neben den in der Praxis dominierenden bildgebenden Sensoren für die sensor- 
gestützte Schüttgutsortierung finden vereinzelt auch nicht-bildgebende Senso- 
ren Einsatz. Hierzu gehören insbesondere akustische Sensoren. Die Materi- 
alcharakterisierung geschieht durch Auswertung von Geräuschen nach einer 
Kollision von Schüttgutpartikeln mit einer Fläche (engl. Impact Acoustic). Ei- 
ne schematische Darstellung einer möglichen Realisierung solcher Systeme ist 
in Abbildung 2.4 dargestellt. Ein Anwendungsschwerpunkt solcher Systeme 
liegt in der Sortierung nussartiger Produkte, z. B. Kastanien [Kur+18], Hasel- 
nüssen [Ona+05] oder Mandeln [Res+13]. Ebenfalls eignet sich das Verfahren 
zur Erkennung beschädigter Weizenkörner [Pea+07]. Bei diesem System wer- 
den die Körner einzeln der Sensorik in Form von Mikrofonen zugeführt. Eine 
Laserschranke dient als Auslöser für die Aufnahme der Kollisionsgeräusche. 
In [Hua+17] wird ein ähnliches System für die Sortierung von Kunststoffflakes 
vorgestellt. Bei dem System wird zusätzlich über Lasertriangulation die Größe 
der Flakes festgestellt und in die Klassifikation auf Basis der Geräuschdaten 
miteinbezogen. Eine Limitierung solcher Sortiersysteme liegt in der Skalie- 
rung bzgl. der Erhöhung des Materialdurchsatzes. Die Partikel müssen stets 
in Linien der Detektion zugeführt werden. Eine höhere Sortierbreite geht mit 
der Erhöhung der Anzahl an Linien einher und erfordert pro Linie eine eigene 
Sensorik. 


2.2.3 Datenauswertung 


Die Aufgaben der Datenauswertung bei der sensorgestützten Schüttgutsortie- 
rung fallen in den Bereich des maschinellen Sehens (engl. Machine Vision). 
Ziel der Datenauswertung ist es, Steuersignale für die in der Separations- 
stufe eingesetzte Aktorik zu berechnen. Hierzu müssen in den Sensordaten 
einzelne im Materialstrom enthaltene Partikel detektiert und klassifiziert wer- 
den. Für auszuschleusende Partikel muss dann berechnet werden, wann wel- 
che Aktoren aktiviert werden müssen. Auch wenn für binäre Sortieraufgaben 
nur zwischen zwei Klassen, akzeptieren und zurückweisen bzw. Produkt und 
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Abbildung 2.4: Schematische Darstellung eines Impact Acoustic Sortiersystems. 


Rückstände, unterschieden werden müsste, Kann es für die Prozessstatistik 
durchaus von Interesse sein, mehrere verschiedene Klassen zu identifizieren. 
Die Datenauswertung folgt der in [Bey+12, Kap. 1] aufgezeigten und in Ab- 
bildung 2.5 visualisierten Verarbeitungskette der automatischen Sichtprüfung, 
bestehend aus Bildgewinnung, Bildvorverarbeitung, Informationsverdichtung 
und -extraktion, Entscheidung und Aktion. Als Plattform kommen vorran- 
gig Field Programmable Gate Arrays (FPGA) [Peal0], PC Systeme [Pea+02; 
Ver+20], oder eine Kombination aus beiden [Mai+21a] zum Einsatz. 


Bildgewinnung und Bildvorverarbeitung Die Bildgewinnung erfolgt bei 
der sensorgestützten Schüttgutsortierung unter kontrollierten Bedingungen. 
Das Helligkeitsniveau ist i.d.R. konstant und der Hintergrund kann bei der 
Systemauslegung frei gewählt werden. Im Zuge der Bildvorverarbeitung kön- 
nen optische Störeffekte, wie z.B. Verzeichnung oder Inhomogenitäten der 
Beleuchtung, korrigiert werden. 


Informationsverdichtung und -extraktion Im Zuge der Informationsver- 
dichtung erfolgt eine Bildsegmentierung. Dies kann aufgrund der genannten, 


40 


2.2 Systemkomponenten und -parameter 
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Objektregionen und Merkmale 


Entscheidung 


Klassifikationsergebnisse und Sortierentscheidungen 


Abbildung 2.5: Schematische Darstellung der Bildverarbeitungskette in Anlehnung an [Bey+12, 
Kap. 1] sowie der jeweiligen Zwischenergebnisse bei der sensorgestützten Schütt- 
gutsortierung. 


konstanten Aufnahmebedingungen häufig durch vergleichsweise einfache Ver- 
fahren, z. B. durch pixelorientierte Anwendung eines Schwellenwerts gefolgt 
von einer Zusammenhangsanalyse, erfolgen. Um Partikel vollständig erfassen 
zu können müssen dabei einzelne Bildzeilen des zeilenscannenden Sensors 
über die Zeit zusammengefasst werden, wodurch wiederum flächige Bilder 
des Materialstroms entstehen. Für die weitere Informationsverdichtung und 
-extraktion werden typischerweise Merkmale zur Beschreibung der einzelnen 
Partikel berechnet. Beim Einsatz einer Farbzeilenkamera können dies z.B. 
Farbmerkmale [Ric+15; Gül+17] oder auch Größen- und Formmerkmale sein. 


Entscheidung Für die Entscheidung werden verschiedenste Klassifikatoren 
eingesetzt. Dies reicht von einfachen Regel-basierten Ansätzen, z. B. durch die 
Definition von Schwellenwerten [Gül+18b; Giil+18a], bis zu Verfahren des 
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maschinellen Lernens, z.B. Support Vector Machines (SVM) oder Random 
Forests [Fan+20]. Für hyperspektrale Signale kann zudem ein Vergleich zu 
Referenzspektren angewandt werden [Küp+19a]. Alternativ werden Regressi- 
onsmodelle verwendet, um z.B. ein NIR [Dal+14] oder X-ray [Li+18] Signal 
auf Materialeigenschaften abzubilden. Aktuelle Arbeiten befassen sich zudem 
mit dem Einsatz neuartiger Verfahren des maschinellen Lernens um die gesam- 
te Informationsverdichtung und -extraktion sowie Entscheidung abzubilden, 
z.B. mittels tiefer neuronaler Netze [Sch17; Lua+20]. 


Aktion Lautet die Entscheidung, dass ein Partikel ausgeschleust werden soll, 
wird in einem letzten Schritt das entsprechende Steuersignal für die Aktorik 
berechnet. Da alle gängigen Separationsmechanismen als eine quer zur Trans- 
portrichtung ausgerichtete Reihe an Einzelaktoren aufgebaut sind, muss für 
die Ansteuerung sowohl eine örtliche als auch eine zeitliche Komponente be- 
rechnet werden. Beim Einsatz von pneumatischer Separation wird dies auch als 
Ausblasfenster mit räumlicher und zeitlicher Dimension bezeichnet. Gängig ist 
die Wahl des Ausblasfensters entsprechend eines das Partikel umschließenden 
Rechtecks (engl. Bounding Box), wie in Abbildung 1.3a dargestellt, oder als 
gezielter Impuls auf den Flächenschwerpunkt [Udo 10]. Die räumliche Position 
legt fest, welche Ventile (also Einzelaktoren) in der Düsenleiste (also der Rei- 
he) aktiviert werden sollen. Hierfür wird die räumliche Verortung des Objekts 
quer zur Transportrichtung berechnet. Für die zeitliche Komponente wird auf 
den Sichtungszeitpunkt ein fester Versatz addiert, welcher als die Dauer der 
Bewegung zwischen Sichtung und Separation konfiguriert wurde. 


Bei der Entwicklung einer Datenauswertung für die sensorgestützte Schüttgut- 
sortierung muss hoher Wert auf die Geschwindigkeit der Verarbeitung gelegt 
werden [Mail5], z.B. bei der Auswahl der Merkmale für die Partikelklassifi- 
kation [Ric+16]. Zwischen Sichtung und Separation liegt lediglich ein kleines 
Zeitfenster, üblicherweise in der Größenordnung von wenigen Millisekunden, 
innerhalb welchem die Datenverarbeitung abgeschlossen und ein Sortierergeb- 
nis berechnet sein muss [Bon+06]. Um eine möglichst präzise Ansteuerung 
der Separation zu ermöglichen, muss dieses Zeitfenster kleinstmöglich ge- 
wählt werden, da so der Einfluss von Relativbewegung der einzelnen Partikel 
möglichst gering gehalten wird [Mai+16a]. Überschreitet die Datenverarbei- 
tung die vorherrschende Zeitschranke ist das berechnete Ergebnis wertlos, da 
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die Separation nicht mehr ausgeführt werden kann. Es besteht daher eine feste 
Echtzeitbedingung mit binärer Wertfunktion [Wör06, Kap. 5]. 


Eigene Vorarbeiten beschäftigen sich daher mit der Nutzung von Methoden 
des Approximate Computing [Han+13] für die Sicherstellung der Einhaltung 
von Echtzeitschranken in der sensorgestützten Schüttgutsortierung [Mai+ 16a; 
Dör17; Gen17; Köh16; Miil16; Roe16]. Hierbei handelt es sich um ein, insbe- 
sondere die Hardwareentwicklung adressierendes, Entwurfsparadigma, wel- 
ches bewusst ungenaue Berechnungsmethoden zulässt, um Vorteile hinsicht- 
lich der Energieeffizienz und Berechnungsgeschwindigkeit zu erzielen. 


2.2.4 Materialtrennung 


Bis auf wenige Ausnahmen erfolgt die physikalische Trennung des Materials in 
der sensorgestützten Schüttgutsortierung über eine Reihe an Aktoren, welches 
senkrecht zur Transportrichtung angeordnet ist. Die Aktorik wirkt dabei wäh- 
rend der Flugphase, also z.B. nach dem Abwurf von einem Förderband oder 
einer Rutsche, auf Partikel ein, welche vom Materialstrom abgetrennt werden 
sollen. Durch diese Einwirkung wird die Flugbahn der abzutrennenden Partikel 
so geändert, dass sie physikalisch vom restlichen Material separiert sind und 
z.B. in unterschiedliche Behälter oder auf unterschiedliche Förderbänder für 
den weiteren Transport gelangen. 


Den de facto Standard der eingesetzten Aktorik stellen pneumatische Schnell- 
schaltventile dar [Rob+19]. Die Abtrennung aus dem Materialstrom erfolgt 
hierbei kontaktlos durch einen kurzen Impuls, welcher durch trockene Luft- 
stöße erzeugt wird. Je nach Partikelgröße und Gewicht muss eine passende 
Düsengröße sowie ein ausreichender Überdruck eingesetzt werden [Kna+14]. 
Die Ventilleiste kann entweder über oder unter dem Materialstrom verbaut 
sein. Die Positionierung unterhalb des Materialstroms birgt dabei den Vorteil, 
dass ein konstanter, von der Höhe einzelner Partikel unabhängiger Abstand 
zwischen Ventilleiste und Partikel gewährleistet ist. Ein vermeintlicher Nach- 
teil der pneumatischen Trennung liegt in den Betriebskosten zur Erzeugung 
der Druckluft. In [Gül+18a] werden der Drucklufterzeugung ein Anteil von 
etwa 70 % der Betriebskosten der sensorgestützten Schüttgutsortierung zuge- 
schrieben. Jedoch scheint dieser Anteil stark abhängig vom konkreten Anwen- 


43 


2 Stand der Anwendung, Forschung und Technik 


dungsfall, da z.B. aus [Por+14] ein deutlich geringerer Kostenanteil für die 
Sortierung von Weintrauben hervorgeht. 


In [Arn+13] wird eine Studie zur Eignung verschiedener Schnellschaltventile 
für die sensorgestützte Schüttgutsortierung präsentiert. Als wichtige Eigen- 
schaften werden dort die Schaltzeiten der Ventile sowie der erzielte Volu- 
menstrom bei einem exemplarischen Überdruck hervorgehoben. Sowohl der 
Volumenstrom als auch die räumliche Verteilung der Luftströmungsgeschwin- 
digkeit entsprechender Ventile werden im Kontext der Sortierung ebenfalls für 
einen stationären Zustand in [Fer+13] und instationären Zustand in [Fer+14] 
betrachtet. Zur Erfassung der Daten verwenden die Autoren eine Mehrloch- 
sonde, welche die Messung des Totaldrucks, des statischen Drucks, der Tem- 
peratur sowie der Fließgeschwindigkeit und deren Orientierung ermöglicht. 
In [Fit+15] wird der pneumatische Ausschleusvorgang von Partikeln simulativ 
betrachtet. Hierzu wird die Luftströmung mittels Computational Fluid Dyna- 
mics (CFD) und die Partikel mittels der Diskrete Elemente Methode (DEM) 
modelliert und mit einem Experiment abgeglichen. Eine vergleichbare Studie 
wird in [Pie+18] präsentiert. Neben dem experimentellen Abgleich der Luft- 
ströme wird hier ebenfalls durch eine DEM-CFD Kopplung ein vollständiger 
Sortiervorgang simuliert. 


Zwei weitere, ebenfalls verbreitete Vertreter eingesetzter Aktorik sind me- 
chanische Klappen [Ver+20] und Wasserstrahldüsen [Sal+91]. Diese Varian- 
ten sind in erster Linie im Bergbau anzutreffen, da sie sich insbesondere für 
vergleichsweise schwere Objekte, die vom Materialstrom abgetrennt werden 
müssen, eignen. Während mechanische Klappen einen vermeintlich hohen 
Wartungsaufwand mit sich bringen, ist beim Einsatz von Wasser zu beachten, 
dass hierdurch einer der großen Vorteile der sensorgestützten Schüttgutsor- 
tierung, nämlich dass es sich um einen trockenen Prozess handelt [Mes+07], 
vernichtet wird. Im Bereich der Agrarprodukt- und Lebensmittelindustrie ist 
der Einsatz daher häufig nicht möglich. In anderen Bereichen muss ggf. in 
Kauf genommen werden, dass energieintensive Trocknungsprozesse integriert 
werden müssen. 


Den genannten Separationstechnologien ist gemein, dass der Wirkungsbereich 
anhand der einzelnen Elemente der Reihe, z.B. einzelner Druckluftdüsen, in 
ein diskretes Raster eingeteilt wird, durch welches die Ortsauflösung quer zur 
Transportrichtung festgelegt ist. Je nach eingesetzter Elektronik zur Ansteue- 
rung der Einzelaktoren ergibt sich i. d. R. ebenfalls eine zeitliche Rasterung, 
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welche z. B. von dem eingesetzten Bussystem oder auch den minimalen Schalt- 
zeiten der Einzelaktoren abhängig ist. Dabei muss sowohl die örtliche als auch 
die zeitliche Auflösung bei gegebener Vereinzelung fein genug sein, dass eine 
Einzelpartikeltrennung möglich ist (vergleiche Abbildung 2.6). Je schlechter 
die Vereinzelung, desto feiner müssen die Auflösungen realisiert werden. Im 
Gegenzug muss bei feiner Auflösung nur eine geringe Vereinzelung sicherge- 
stellt werden, wodurch höhere Massenströme ermöglicht werden (vergleiche 
Abschnitt 2.3). 


Weitere, deutlich weniger verbreitete Separationsmethoden sind die Trennung 
durch Robotergreifer oder Ansaugventile. Vereinzelt wird auch eine Ausschleu- 
sung zur Seite hin, z. B. durch mechanische Schieber, eingesetzt [Rau16]. 


2.3 Prozessparameter 


In [Gül20] werden entscheidende Parameter der sensorgestützten Schüttgut- 
sortierung in geometrische Parameter und Prozessparameter eingeteilt. Als 
Beispiele für die Prozessparameter werden die Korngrößenverteilung, der Mas- 
senstrom bzw. Materialdurchsatz, oder auch die Charakteristiken des Materials 
selbst genannt. Ein weiterer Prozessparameter, welcher im Folgenden ergän- 
zenden mit aufgegriffen wird, ist die Materialvereinzelung. 


Im Gegensatz zu den in Abschnitt 2.2 diskutierten Systemparametern sind 
Prozessparameter nur bedingt frei wählbar, da sie teilweise durch die Sor- 
tieraufgabe definiert sind. Sie haben jedoch entscheidenden Einfluss auf die 
Effizienz sensorgestützter Sortiersysteme. 


2.3.1 Korngrößenverteilung 


Die Korngrößenverteilung beschreibt ein Intervall der geometrischen Größe 
der Partikel, welche dem Sortiersystem zugeführt werden. Sensorgestützten 
Sortiersystemen wird durch eine geeignete Vorkonditionierung ein möglichst 
definiertes Kornband zugeführt, da die Größenverteilung der Partikel einen 
entscheidenden Einfluss auf die Wahl weiterer System- und Prozessparameter 
hat, z. B. auf den erzielbaren Massenstrom oder die Parametrierung der Sepa- 
rationseinheit. Dies geschieht entweder durch vorgestelltes Sieben oder einer 
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zeitliches Raster 


örtliches Raster 


(a) Grobe Auflösung bei geringer Vereinzelung unzureichend, Produkt wird fälschlicherweise mit abgetrennt. 


A 
© 


zeitliches Raster 


Y 


> 
örtliches Raster 


(b) Grobe Auflösung bei guter Vereinzelung ausreichend, nur Rest-Partikel wird abgetrennt. 


A 


zeitliches Raster 


Y 


T > 
örtliches Raster 


(c) Geringe Vereinzelung bei feiner Auflösung ausreichend, nur Rest-Partikel wird abgetrennt. 


Abbildung 2.6: Schematische Visualisierung des Zusammenhangs zwischen Separationsauflö- 
sung und Vereinzelung. In dem Beispiel soll das durch die rote Raute reprä- 
sentierte Partikel abgetrennt werden, das durch den grünen Kreis repräsentierte 
jedoch nicht. Die blau hinterlegten Felder des Rasters entsprechen in dem Bei- 
spiel denjenigen, für welche die Einzelaktoren aktiviert, z. B. die entsprechenden 
Schnellschaltventile geöffnet, werden. 
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Zerkleinerung. Als Faustregel hat sich ein Größenverhältnis von 1:3 zwischen 
den kleinsten und größten Partikeln innerhalb des Kornbands als erstrebens- 
werte Eingrenzung etabliert [Wot06]. 


Generelle Anwendung findet die sensorgestützte Schüttgutsortierung bereits 
bei Partikelgrößen ab 1mm, z.B. bei Diamanten. Generell ist es im Berg- 
bau jedoch üblich, sensorgestützte Sortiersysteme erst ab deutlich größeren 
Korngrößen einzusetzen, da mit steigender Korngröße der Massenstrom und 
somit die Wirtschaftlichkeit der Sortiersysteme steigt. Sortierbare Korngrößen 
reichen dabei bis hin zu ca. 300 mm [Wot06]. Generell kann die Sortierung 
kleiner Partikel als schwierigeres Problem aufgefasst werden, da zusätzliche 
Rahmenbedingungen beachtet werden müssen. Beispielsweise muss sicher- 
gestellt sein, dass die Ortsauflösung des Sensors hinreichend fein ist, um der 
Datenauswertung eine korrekte Charakterisierung einzelner Partikel zu ermög- 
lichen. Ebenfalls wird eine feine Auflösung für die Separation benötigt. 


2.3.2 Massenstrom, Materialdurchsatz und 
Belegungsdichte 


Zur Beschreibung der Materialmenge, welche durch ein sensorgestütztes 
Schüttgutsortiersystem aufbereitet wird, werden in dieser Arbeit die Begrif- 
fe Massenstrom, Materialdurchsatz und Belegungsdichte verwendet. Alle drei 
Parameter sind abhängig von der Korngrößenverteilung (siehe Abschnitt 2.3.1) 
sowie der Sortierbreite und Transportgeschwindigkeit des Transportmediums 
(siehe Abschnitt 2.2.1). Zudem weisen die Parameter i.d.R. eine starke Kor- 
relation auf. 


Der Massenstrom ist definiert als das Materialgewicht, welches innerhalb ei- 
ner Zeitspanne dem Sortiersystem zugeführt wird und ist somit ebenfalls von 
der Dichte des zu sortierenden Materials abhängig. Er wird üblicherweise in 
Tonnen pro Stunde angegeben und ist insbesondere für wirtschaftliche Be- 
trachtungen relevant. In [Wot06] wird von Massenströmen bis zu 250 t h`! bei 
der sensorgestützten Schüttgutsortierung berichtet. 


Unter Materialdurchsatz wird in dieser Arbeit die Anzahl an Partikeln pro Zeit- 
spanne verstanden. Da sensorgestützte Schüttgutsortiersysteme insbesondere 
für vorkonditionierte und somit homogenisierte Stoffströme eingesetzt werden, 
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handelt es sich bei dem Massenstrom und dem Materialdurchsatz um nahezu 
umrechenbare Mengeneinheiten. 


Werden die Parameter des Transports fixiert, haben verschiedene Massen- 
ströme bzw. Materialdurchsätze starke Auswirkungen auf die Sortierqualität. 
Aus [Pas+10; Gül+17] wird ersichtlich, dass ein steigender Massenstrom sich 
für eine gegebene Sortieraufgabe prinzipiell negativ auf die Sortierqualität aus- 
wirkt. In [Pas+15] werden mittels Monte-Carlo Simulation verschieden hohe 
Massenströme sowie die resultierende Sortierqualität ermittelt. Die Ergebnisse 
legen nahe, dass die Sortierqualität bei steigendem Massenstrom exponentiell 
abnimmt. In [Küp+20c] wird der Massenstrom und die resultierende Sortier- 
qualität unter wirtschaftlichen Aspekten analysiert. In der Betrachtung werden 
hierfür neben der Sortierqualität und dem Massenstrom die resultierenden 
Kosten der Sortierung pro Tonne miteinbezogen. Diese Betrachtung ist insbe- 
sondere dann hilfreich, wenn, bedingt durch das Anwendungsgebiet, anstelle 
einer maximalen Reinheit des Sortierresultats gewisse Grenzwerte eingehalten 
werden müssen. 


Nach oben genannter Definition ist für die aufgezeigten Einflüsse auf die 
Sortierqualität jedoch weniger der Massenstrom bzw. Materialdurchsatz als 
vielmehr die Belegungsdichte verantwortlich [Kiip+20b]. Die Belegungsdich- 
te beschreibt den Anteil des sensorisch erfassten Bildes, welcher tatsächlich 
mit Material belegt ist, vergleiche Abbildung 2.7. Sie ist damit sozusagen eine 
Mengeneinheit für den Massenstrom aus Sicht der Sensorik, da die Szene auf 
eine 2D-Darstellung projiziert wird. Aus Sicht der Datenauswertung ist die 
Belegungsdichte zudem von großem Interesse, da sie sich in vielen Fällen di- 
rekt in den benötigten Laufzeiten der eingesetzten Algorithmen widerspiegelt. 
Aus zuvor erwähnten Gründen korreliert die Belegungsdichte jedoch eben- 
falls stark mit dem Massenstrom bzw. dem Materialdurchsatz. Gelingt durch 
die Materialzuführung eine Gleichverteilung des Materials über die gesamte 
Sortierbreite, korreliert die Belegungsdichte zudem stark mit der Materialver- 
einzelung. 


2.3.3 Materialzusammensetzung 


Die Materialzusammensetzung beschreibt das Verhältnis von Produkt zu Rest 
des Eingangsstoffstroms, welcher sortiert werden soll. Sie bestimmt zudem, 
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7 Er 


(a) Ca. 10 % Belegungsdichte. (b) Ca. 20 % Belegungsdichte. 


Abbildung 2.7: Simulierte Darstellung verschiedener Belegungsdichten. Durch ein Partikel be- 
legte Pixel sind in Schwarz und der unbelegte Hintergrund Weiß in dargestellt. 


welche der beiden Gruppen im Zuge der physikalischen Separation durch Ak- 
tivierung ausgeschleust werden sollen. Generell wird die Fraktion, welche in 
der Minderheit erwartet wird, ausgeschleust. Dies liegt zum einen daran, dass 
für den Ausschleusvorgang Energie benötigt wird, und zum anderen daran, 
dass der Ausschleusvorgang selbst potentiell zu Sortierfehlern führt und da- 
her möglichst selten ausgeführt werden sollte (siehe Abschnitt 2.4). Letzteres 
wird u.a. durch die in [Pas+10] vorgestellten experimentellen Ergebnisse un- 
termauert. Auf Basis der Monte-Carlo Simulation aus [Pas+15] ergibt sich eine 
exponentielle Abnahme des erzielbaren Massenstroms bei steigendem Anteil 
auszuschleusender Partikel unter Fixierung der Sortierqualität. Vergleichbare 
Ergebnisse auf Basis experimenteller Studien werden in [Küp+20b] vorgestellt. 


2.3.4 Materialvereinzelung 


Die Materialvereinzelung resultiert aus dem Materialdurchsatz, den Korngrö- 
ßen sowie der Vereinzelungsqualität der Zuführ- und Transporteinheit (siehe 
Abschnitt 2.2.1). Eine unzureichende Vereinzelung führt zur Bildung von Ag- 
glomeraten [Pas+15], wodurch im Wesentlichen zwei negative Effekte auf die 
Sortierqualität entstehen. Zum einen müssen Agglomerate durch die Datenaus- 
wertung aufgelöst werden, um eine Bewertung der einzelnen, sich berührenden 
Partikel vornehmen zu können. Derartige Algorithmen beruhen jedoch häufig 
auf Annahmen über die Partikelformen und erzeugen zusätzliche Rechenlast, 
welche für die Einhaltung der geforderten Echtzeitgrenzen berücksichtigt wer- 
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den muss (siehe Abschnitt 2.2.3). Zum anderen führen Agglomerate, selbst 
wenn die Partikel im Zuge der Datenauswertung einzeln und korrekt bewertet 
wurden, zu Sortierfehlern während der Separation. Bei allen in Abschnitt 2.2.4 
vorgestellten Separationsmethoden können durch die Ausschleusung eines Par- 
tikels weitere, in der Nähe befindliche Partikel, fälschlicherweise mitausge- 
schleust werden. Dieser Effekt wird in der [Fit+15] auf Basis einer numeri- 
schen Simulation betrachtet. Eine statistische Kenngröße zur Beschreibung der 
Vereinzelung ist beispielsweise der kleinste Objektabstand. Eine Untersuchung 
zur Wahrscheinlichkeit sich berührender bzw. überlappender Partikel u.a. in 
Abhängigkeit der Partikelform findet sich in [Wen+21]. 


2.4 Methoden zur Bewertung der Effizienz 
sensorgestützter Schüttgutsortiersysteme 


Für die Bewertung der Effizienz sensorgestützter Sortiersysteme müssen im 
Wesentlichen zwei Faktoren berücksichtigt werden: die Sortierqualität und der 
Massenstrom bzw. Materialdurchsatz. Offensichtlich sollen beide Kenngrößen 
für eine bestmögliche Effizienz maximiert werden. Es handelt sich hierbei 
jedoch um konkurrierende Ziele, da die Sortierqualität typischerweise unter 
steigender Belegungsdichte, welche wiederum mit dem Massenstrom bzw. 
Durchsatz korreliert, leidet [Küp+20b], vergleiche Abschnitt 2.3. 


Die Sortierqualität ist im Wesentlichen von zwei potentiell auftretenden Feh- 
lern abhängig, die zu einer Fehlsortierung führen können [Fit+15; Küp+20b]: 


1. Fehler in der Materialtrennung. Im Falle eines solchen Fehlers wird 
eine korrekte Sortierentscheidung berechnet, das Partikel aber nicht phy- 
sikalisch aus dem Materialstrom entfernt, z. B. aufgrund einer ungenau- 
en Ansteuerung des Aktors. Im Gegenzug kann dies auch dazu führen, 
dass ein Partikel, welches nicht hätte zurückgewiesen werden sollen, 
fälschlicherweise getroffen wird. 


2. Fehler bei der Materialerkennung. In diesem Fall kommt die Daten- 
auswertung zu einem falschen Ergebnis hinsichtlich der Charakterisie- 
rung eines Partikels, was z.B. zu der Sortierentscheidung der Zurück- 
weisung führen kann, obwohl das Partikel akzeptiert werden sollte. 
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Sortierergebnis 
abgelehnt akzeptiert gesamt 
True False 
R : P’ 
Positive Negative 
tatsächliche 
Zugehörigkeit 
False True 
P k : N’ 
Sa Positive Negative 
gesamt P N 


Abbildung 2.8: Visualisierung einer Wahrheitsmatrix zur Beschreibung der Sortierqualität. Die 
vier Elemente stellen die Häufigkeiten der entsprechenden Fälle dar. 


Eine Visualisierung der Fehlertypen als Entscheidungsbaum ist in [Pas+10] 
zu finden. Dem finalen Sortierergebnis ist nicht anzusehen, welcher der bei- 
den Fehler zu einer Falschsortierung geführt hat. Es kann lediglich das Ge- 
samtergebnis bewertet werden. Im Falle von binären Sortieraufgaben eignet 
sich hierzu als Ausgangspunkt eine Wahrheitsmatrix, wie in Abbildung 2.8 
dargestellt [Oom+10; Gül+17; Gül20]. Für die Begriffe True Positive, False 
Positive, False Negative und True Negative werden im Folgenden die Abkür- 
zungen TP, FP, FN und TN verwendet. Viele der etablierten Kenngrößen zur 
Beschreibung der Sortierqualität basieren auf einer solchen Wahrheitsmatrix. 


Drei der etablierten Kenngrößen für die Sortierqualität sind die Wiederge- 
sundung (engl. Recovery), die Ausbeute (engl. Yield) und die Reinheit (engl. 
Purity) [Fei+16]. Die Kenngrößen werden häufig in Form von Massenverhält- 
nissen dargestellt, lassen sich aber ebenfalls auf Basis von Partikelanzahlen 
ausdrücken. 
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Recovery beschreibt den Anteil des ursprünglichen Materialstrom, welcher 
durch die Sortierung akzeptiert wurde und ist entsprechend der Notation 
aus Abbildung 2.8 definiert als 


Recovery := - 100% . (2.1) 


N 
P'+N’ 
Diese Kenngröße gibt keine Auskunft über die Korrektheit des Sortierergeb- 
nisses, sondern lediglich über die Anteile der resultierenden Fraktionen. 


Yield ist definiert als 
TN 


ni 


Yield := 


- 100 % (2.2) 


und beschreibt das Verhältnis der Menge des akzeptierten Produkts zu der 
Produktmenge im Eingangsstrom. 


Purity beschreibt den tatsächlichen Anteil des zu gewinnendem Materials in 
der entsprechenden Sortierfraktion und ist definiert als 


T. 
Purity := un - 100% . (2.3) 


In [Pas+10; Pas+15] wird die Sortiereffizienz (engl. Sorting Efficiency) als 
Differenz zwischen der Reinheit des akzeptierten Materials und dem Produkt- 
verlust beschrieben. Die ursprüngliche Definition lautet 


Separation efficiency (SE) % := Ra - Re (2.4) 


wobei Rg das Verhältnis der abzulehnenden Partikel, die sich nach dem Sor- 
tiervorgang im Ausschussbehälter befinden, in Prozent und R. das Verhältnis 
der zu akzeptierenden Objekte, die sich nach dem Sortiervorgang ebenfalls im 
Ausschussbehälter befinden, beschreiben. Unter Verwendung der Notation der 
Wahrheitsmatrix lässt sich dies als 
. . TP FP 

Separation efficiency (SE) % := PN 100 % (2.5) 
ausdriicken. Ein wesentlicher Unterschied dieser Definition im Vergleich zu 
den vorherigen ist, dass der Produktverlust explizit in die Betrachtung mitein- 
bezogen wird. 
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Tabelle 2.2: Beispiele zur Verdeutlichung der Unterschiede zwischen denn Kenngrößen Recovery, 
Yield, Purity und SE. 


Beispiel| TP FP TN FN |Recovery Yield Purity SE 


1 1000 100 5000 50 | 82,1% 98,0% 99,0% 93,3 % 
2 1000 600 4500 50 | 74,0% 88,2% 98,9% 83,5 % 
3 800 100 5000 250| 85,4% 98,0% 95,2% 74,2 o 


Der Unterschied der vier vorgestellten Kenngrößen wird anhand der Beispiele 
in Tabelle 2.2 verdeutlicht. In Beispiel 1 wird angenommen, dass 1000 Rest- 
Partikel erfolgreich abgelehnt wurden und 50 Rest-Partikel im akzeptierten 
Material verblieben sind. Außerdem wurden 5000 Produkt-Partikel akzeptiert 
und 100 Produkt-Partikel fälschlicherweise abgelehnt. In Beispiel 2 wird nun 
angenommen, dass ein größerer Anteil der Produkt-Partikel fälschlicherweise 
abgelehnt wurde, die anderen Werte stimmen mit Beispiel 1 überein. Es ist er- 
sichtlich, dass diese Veränderung negative Auswirkungen auf Recovery, Yield 
und SE haben, jedoch fast keine Änderung von Purity verursachen. Anders sieht 
es bei einem Vergleich von Beispiel 3 mit Beispiel 1 aus. In Beispiel 3 wird 
angenommen, dass weniger Rest-Partikel erfolgreich abgelehnt wurden und 
somit auch mehr Rest-Partikel im angenommenen Material verbleiben. Dies 
führt zu keiner Änderung bei Yield und wirkt sich gar positiv auf Recovery 
aus. Purity und SE sinken jedoch im Vergleich zu Beispiel 1 deutlich. 


In [Oom+10] werden aufbauend auf dem Prinzip der Operationscharakteristik 
sogenannte Sorting Optimization Curves (SOC) für die Bewertung und Op- 
timierung von Systemkonfigurationen vorgeschlagen. Qualität und Ausbeute 
werden mit Hilfe klassischer Kenngrößen aus der Wahrheitsmatrix berechnet. 
Die einfließenden Kosten werden jedoch mit für die Sortierung entscheidenden 
Parametern, wie z. B. die Beschaffenheit des Eingabematerialstroms oder auch 
dem Yield, spezifiziert. Für verschiedene Systemkonfigurationen lassen sich so- 
mit Operationscharakteristiken erstellen und entsprechend dem gewünschten 
Sortierergebnis anpassen. Ein vergleichbarer Ansatz wird ebenfalls in [Gül+17] 
vorgestellt. 


Eine experimentelle Untersuchung mit dem Ziel des Vergleichs verschiedener 
Kenngrößen wird in [Gül20] vorgestellt. Es bleibt jedoch zu beachten, dass der 
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Zweck der Untersuchung für die Wahl der passenden Kenngröße berücksichtigt 
werden muss und somit keine pauschal aussagekräftigste Größe existiert. 


2.5 Bildfolgenauswertung und deren Einsatz für 
Sichtprüfaufgaben 


In Abschnitt 2.1 wurden die vielfältigen Aufgabenstellungen, für welche die 
sensorgestützte Schüttgutsortierung eingesetzt wird, aufgezeigt und in Ab- 
schnitt 2.2.2 die entsprechenden eingesetzten Sensoren vorgestellt. Ziel dieser 
Arbeit ist, den Stand der Forschung und Technik, welcher den Einsatz zei- 
lenscannender Sensoren vorsieht, um den Einsatz von Flächensensoren zu 
erweitern. Hierdurch wird die erfasste Information um die Komponente der 
Zeit erweitert. In diesem Abschnitt wird hierfür der Begriff der Bildfolge in 
Abschnitt 2.5.1 definiert und von der statischen Bildauswertung abgegrenzt. 
In Abschnitt 2.5.2 werden Anwendungsbeispiele der Bildfolgenauswertung für 
verschiedene Sichtprüfaufgaben vorgestellt. 


2.5.1 Definition einer Bildfolge 


Eine Bildfolge beschreibt eine Sequenz mehrerer Bilder in einer zeitlichen 
Abfolge. Ein flächiges Bild entspricht dabei einem 2D-Feld und lässt sich 
mathematisch als Funktion 


g:Q,>R2, CR (2.6) 


ausdrücken [Bey+12, Kap. 1]. Q beschreibt die Anzahl der Bildkanäle, daher 
gilt für Grauwertbilder Q = 1 und für Farbbilder Q = 3. Jedem Ort x wird 
dabei der Bildwert g zugeordnet: 


81 (x) 
82(x) . 4 
g(x) = . mit x= ; (2.7) 
; y 
8a(x) 
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Ein Bild liefert daher Information über die örtliche Struktur der Szene. 


Die Bildfolge wird als 3D-Feld modelliert und x um eine Dimension erweitert, 
welche die Zeit beschreibt: 


g:0,>R2, CR, (2.8) 
8:,1(X) 
81,2(X) ; 
g(x) = mit x=|y]. (2.9) 
1. 
81,Q(X) 


Die Messzeitpunkte r können dabei äquidistant, regelmäßig oder unregelmä- 
Big sein. Eine Bildfolge liefert Information sowohl über die örtliche als auch 
die zeitliche Struktur der Szene. In Abgrenzung zur statischen Bildanalyse 
werden durch die Bildfolgenauswertung dynamische Ereignisse in der Szene 
sichtbar [Jäh93, Kap. 1]. 


2.5.2 Einsatz für Sichtprüfaufgaben 


Die Bildfolgenauswertung ist in unzähligen Bereichen der Bildverarbeitung 
von hoher Bedeutung. Hierzu gehören Anwendungen aus dem Überwachungs- 
bereich, z. B. die Detektion und Verfolgung von Personen [Sni+05] oder Fahr- 
zeugen [Unz+12] durch Bewegung, die Blickwinkel- oder Bewegungsbestim- 
mung, die 3D-Rekonstruktion, die Aktionserkennung sowie die Objektverfol- 
gung. Hinsichtlich letzterem hat die Verfolgung mehrerer Objekte insbesondere 
im Bereich des maschinellen Sehens in den letzten Jahrzehnten hohe Aufmerk- 
samkeit erfahren [Yil+06]. Die Aufgabenstellungen erstrecken sich über das 
Zählen von Einheiten, welche die Szene betreten und verlassen können, z.B. 
Fische in Unterwasservideos [Spa+08] bis hin zur Vorhersage von Ereignissen, 
z. B. Kollisionen an Verkehrskreuzungen [Ate+05]. 


Neben der Detektion und Vorhersage von Ereignissen kann die Objektverfol- 
gung auch zur Qualitätsbewertung eingesetzt werden. Im Kontext der indus- 
triellen Sichtprüfung lautet eine beispielhafte Aufgabe, Zerstäubungsprozesse 
während eines Laserschweißvorgangs zu verfolgen und hinsichtlich der Aus- 
wirkungen auf den Schweißprozess zu bewerten [Jag+08]. In manchen Fällen 
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kann die beobachtete Bewegung direkten Aufschluss über die beobachteten 
Entitäten geben. Hierzu gibt es beispielsweise viele Arbeiten auf dem Gebiet 
der computergestützten Spermienanalyse, sowohl hinsichtlich der Qualität tie- 
rischer [Kim+01] als auch menschlicher Spermien [S@r+08]. Die Daten aus der 
Nachverfolgung werden hier verwendet, um die Beweglichkeit der einzelnen 
Spermien zu messen, da diese ein wichtiges Merkmal für die Qualitätsbe- 
urteilung ist [Liu+13]. In der Umweltinformatik können Bewegungsmerkma- 
le verwendet werden, um bestimmte Vogelarten zu unterscheiden [Ata+18]. 
In [Bou+13] werden zwei Materialeigenschaften von Stoffen, nämlich Stei- 
figkeit und Flächengewicht, auf der Grundlage von Bewegungen, die durch 
unbekannte Windkräfte induziert werden, geschätzt. Die Autoren schlagen ein 
Verfahren vor, welches die Extraktion der Bewegungsgrößen aus Videodaten, 
die Ableitung statistischer Merkmale und die Implementierung eines Regres- 
sionsmodells zur Schätzung der Materialeigenschaften umfasst. Die generelle 
Regression von physikalischen Eigenschaften von Objekten aus Videodaten 
wird in [Wu+15; Wu+16] untersucht. Motiviert durch Erkenntnisse darüber, 
wie Menschen lernen, die Bewegung von Objekten in der realen Welt vorherzu- 
sagen, schlagen die Autoren ein Modell vor, das die Vorhersage physikalischer 
Eigenschaften ermöglicht, die dann in eine Physiksimulation eingespeist wer- 
den, um die Fortsetzung einer dynamischen Szene zu simulieren. 


Der Einsatz von Bildfolgenauswertung für die sensorgestützte Schüttgutsor- 
tierung wurde erstmalig in [Pfa+15] mit dem Ziel einer Partikelverfolgung 
vorgeschlagen. In [Per+20] wird zudem eine Flächenkamera für eine prototy- 
pische Granulatsortierung eingesetzt. Die Bilder werden jedoch separat und 
ohne zeitlichen Kontext ausgewertet. Ein Sortiersystem im Labormaßstab mit 
Flächenkamera und Partikelverfolgung wird ebenfalls in [Heo+18] vorgestellt. 
Die dort vorgestellten Experimente berücksichtigen allerdings ein Sortiersys- 
tem mit Rillen-Transport, wodurch die Verfolgung der Partikel ein triviales 
Problem darstellt. 


2.6 Zusammenfassung und Einordnung 


Innerhalb der identifizierten Hauptanwendungsfelder Bergbau, Abfallaufberei- 
tung und Agrarprodukt- und Lebensmittelverarbeitung existieren unterschied- 
lichste Aufgabenstellungen, welche von der Sortierung stark heterogener Ma- 
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terialströme bis hin zu Reinigungsaufgaben in Produktionsprozessen reichen. 
Um Verfahrensfortschritte in der sensorgestützten Schüttgutsortierung zu er- 
möglichen muss der vollständige Sortierprozess verstanden und holistisch be- 
trachtet werden. Dies betrifft sowohl die Systemkomponenten Materialzufüh- 
rung und -transport, Sensorik, Datenauswertung und Materialtrennung als auch 
die Berücksichtigung der gegebenenfalls vorgegebenen Prozessparameter. 


Als gängigste Transportmechanismen wurden Förderbänder, Rutschen sowie 
der Transport im freien Fall vorgestellt sowie deren Vor- und Nachteile dis- 
kutiert. Die vielfältigen Einsatzmöglichkeiten der Sortiertechnik beruhen zu 
einem Großteil auf der Vielzahl industriell verfügbarer und für die sensorge- 
stützte Schüttgutsortierung relevanter Sensoren. Hier ist für die jüngere Ver- 
gangenheit explizit die Rolle von HSI im NIR hervorzuheben. Das Potential 
jeglicher Sensorik kann allerdings erst mittels adäquater Datenauswertung aus- 
geschöpft werden. 


Es ist festzustellen, dass insbesondere Verfahren des maschinellen Lernens 
sich in den vergangenen Jahren, genau wie in vielen anderen Bereichen, ei- 
ne immer zentralere Bedeutung aneignen. Eine besondere Herausforderung 
liegt in der Entwicklung echtzeitfähiger Systeme, welche die zulässige Latenz, 
typischerweise im Bereich weniger Millisekunden, nicht überschreiten. Die 
Schwierigkeit dieser Aufgabe steigt mit der Forderung von Anlagenbetreibern 
nach immer höheren Massenströmen zur Steigerung der Wirtschaftlichkeit der 
Sortieranlagen. Hinsichtlich eingesetzter Aktorik zur physikalischen Abtren- 
nung einzelner Partikel lässt sich feststellen, dass die pneumatische Trennung 
mittels Schnellschaltventilen als Standardverfahren anzusehen ist. 


Für eine bestmögliche Abwägung der konkurrierenden Optimierungsgrö- 
ßen Materialdurchsatz und Sortierqualität müssen zudem die Prozesspa- 
rameter Korngrößenverteilung, Materialdurchsatz, -zusammensetzung und 
-vereinzelung bekannt sein und, soweit möglich, gesteuert werden. Diese 
Parameter sind ebenfalls immer im Verbund zu betrachten, da beispielswei- 
se die Korngrößenverteilung direkten Einfluss auf den Materialdurchsatz hat 
und selbiger die bestmögliche Materialvereinzelung limitiert. Zudem sind die- 
se Parameter für eine Sortieraufgabe nur selten statisch, sondern unterliegen 
Schwankungen während des Sortierprozesses, so dass eine gewisse Bandbreite 
bei der Systemauslegung angenommen werden muss. 
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2 Stand der Anwendung, Forschung und Technik 


Hinsichtlich der Bewertung der Sortierqualität haben sich verschiedene Kenn- 
größen etabliert. Als Berechnungsgrundlage dient eine Wahrheitsmatrix wie 
in Abbildung 2.8 dargestellt. Somit muss je nach Ziel einer Untersuchung ab- 
gewägt werden, welche Kenngröße den maximalen Informationsgehalt für die 
Beantwortung einer Fragestellung bietet. 


Bei ganzheitlicher Betrachtung des Stands der Anwendung, Forschung und 
Technik lässt sich feststellen, dass das in dieser Arbeit vorgestellte Verfahren 
eine neue Gattung sensorgestützter Schüttgutsortierer darstellt. Durch den Ein- 
satz einer Flächenkamera sowie der bildfolgenerweiterten Datenauswertung 
werden, analog zur Einführung neuer Sensortechnologien, sowohl quantitative 
als auch qualitative Verfahrensfortschritte erzielt. Zum einen wird aufgezeigt, 
dass die Sortierqualität in bestehenden Einsatzbereichen erheblich verbessert 
werden kann. Zum anderen können bisher ungelöste Sortieraufgaben adres- 
siert werden. Dies betrifft die Sortierung äußerst unkooperativer Schüttgüter, 
für welche mittels der etablierten Transportmechanismen keine ausreichende 
Materialberuhigung erzielt werden kann, als auch die Sortierung nach me- 
chanischen Eigenschaften, welche sich in dem Bewegungsverhalten einzelner 
Partikel widerspiegeln. Die Eignung der Verfahren wird zudem auf einem 
realen Sortiersystem mittels experimenteller Untersuchungen festgestellt. 
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3 Vorstellung des 
Referenzsortiersystems mit 
Farbzeilenkamera 


In diesem Kapitel wird ein Sortiersystem des Fraunhofer IOSB entsprechend 
dem Stand der Forschung und Technik ohne Bildfolgenauswertung vorgestellt. 
Dieses Sortiersystem dient in der vorliegenden Arbeit als Referenzsystem und 
kommt u.a. bei den in Kapitel 6 vorgestellten experimentellen Untersuchungen 
als Vergleichsreferenz zum Einsatz. Zudem stellt es den Ausgangspunkt für 
das in dieser Arbeit entwickelte bildfolgenerweiterte Sortiersystem dar. 


Der physikalische Aufbau des Referenzsystems wird in Abschnitt 3.1 vorge- 
stellt. In Abschnitt 3.2 werden bestehende Module der Sortiersoftware, auf 
welche für das in dieser Arbeit vorgestellte bildfolgenerweiterte Sortiersystem 
zurückgegriffen wird, erläutert. 


3.1 Physikalischer Aufbau des 
Referenzsortiersystems 


Bei dem auf [Dol15] basierenden Referenzsortiersystem handelt sich um ein 
Sortiersystem im Labormaßstab, welches kleiner dimensioniert ist als im indus- 
triellen Einsatz üblich. Die einzelnen, vorwiegend industrietauglichen Kom- 
ponenten werden im Folgenden erläutert. 


Die Basis des Sortiersystems stellt eine Rückwand dar, welche als Lochraster- 
wand im Sinne einer optischen Bank realisiert ist. Beidem verwendeten System 
beträgt die Abmessung der Rückwand 1420 mm x 1020 mm. Die Löcher in der 
Rückwand haben sowohl horizontal als auch vertikal einen äquidistanten Ab- 
stand von 25 mm und dienen dem Zweck, verschiedene Komponenten an das 
System via Adapterplatten anzubringen. 
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3 Vorstellung des Referenzsortiersystems mit Farbzeilenkamera 


Die Materialzuführung ist über einen Linearschwingforderer realisiert, welcher 
bei konstanter Frequenz von 50 Hz vibriert. Die Amplitude der Schwingung 
ist mittels eines Potentiometers steuerbar und ausschlaggebend für den Mas- 
senstrom, der dem Sortiersystem zugeführt wird. 


Für den Materialtransport kann das System alternativ mit einer Rutsche oder 
einem Förderband betrieben werden. Die Rutsche hat eine Länge von 310 mm 
und eine Breite von 150 mm. Sie ist aus kaltgewalztem Stahl gefertigt und hat 
eine glatte, ebene Oberfläche. Das Förderband hat eine Länge von 600 mm und 
eine Breite von 160 mm. Die Bandgeschwindigkeit ist mittels eines Frequenz- 
umrichters steuerbar. Bei Verwendung des Förderbands wird das Material 
mittels einer kurzen S-förmigen Rutsche vom Linearschwingförderer aus auf 
das Band aufgegeben und hierdurch vorbeschleunigt. 


Das System ist mit einer Farbzeilenkamera des Typs e2v AViiVa SC2 ausge- 
stattet. Die Zeilenbreite beträgt für dieses Modell 1365 Pixel, die maxima- 
le Zeilenfrequenz ist 14,8kHz. Als Objektiv wird das Modell Zeiss Classic 
lense Planar T 1.4/50 ZF.2 eingesetzt. Als Beleuchtung dienen zwei weiße 
LED-Zeilenbeleuchtungseinheiten, welche auf die Inspektionslinie, d.h. die 
Sichtlinie der Zeilenkamera, fokussiert werden. Diese befindet sich sowohl 
beim Aufbau als Rutschen- als auch Bandsortierer dicht hinter der Abwurf- 
kante des Transportmediums. Die Beleuchtung wird als Auflicht betrieben und 
entsprechend wird durch die Kamera eine Reflexionsmessung realisiert. 


Die Materialtrennung erfolgt mittels einer Reihe an pneumatischen Schnell- 
schaltventilen des Typs MHJ9-MF der Firma Festo. Die Ventilleiste des Typs 
MHJ9-PNI6 des gleichen Herstellers ist mit 16 Ventilen bestückt. Sie deckt 
eine Breite von 16cm ab. Die pneumatische örtliche Auflösung beträgt daher 
10mm. Für die Kommunikation zwischen Rechnersystem und den Schnell- 
schaltventilen kommt das serielle Bussystem Controller Area Network (CAN) 
zum Einsatz. Die Symbolrate beträgt 1000 bd. Der Überdruck kann mittels 
eines Druckminderers geregelt werden. Zwischen Druckminderer und Ventil- 
leiste befindet sich zudem ein Druckausgleichsbehälter mit einem Fassungsver- 
mögen von 0,005 m, wodurch kurzzeitige Druckabfälle, z. B. hervorgerufen 
durch temporäre, starke Aktivität der Ventile, kompensiert werden können. 


Hinter der Ventilleiste befindet sich ein Auffangkorb aus Plexiglas, welcher 
mittig durch ein Blech in zwei Kammern getrennt ist. Auszuschleusende Par- 
tikel werden hierbei durch den Luftstoß von unten über dieses Blech gehoben. 
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3.1 Physikalischer Aufbau des Referenzsortiersystems 


Abbildung 3.1: Foto des Referenzsortiersystems als Bandsortierer. Zu sehen sind die System- 
komponenten (v. l. n. r.) Linearschwingförderer mit Aufgaberutsche, Förderband, 
Beleuchtung und Farb-Zeilenkamera sowie Ventilleiste. Im unteren linken Teil des 
Bildes ist zudem ein Druckminderer und in der Mitte ein Druckausgleichsbehälter 
zu sehen. Quelle: Fraunhofer IOSB 


Alle anderen Partikel fliegen unter dem Blech hindurch. Die so entstehenden 
zwei Fraktionen gelangen dann jeweils in einen separaten, mittels 3D Druck 
gefertigten, Trichter, durch welchen der Auslass des Systems realisiert ist. Der 
resultierende Aufbau als Bandsortierer ist in Abbildung 3.1 und als Rutschen- 
sortierer in Abbildung 3.2 abgebildet. 


Die Kamera wird mittels der im industriellen Umfeld weit verbreiteten Camera- 
Link-Schnittstelle an eine Bilderfassungskarte (engl. Frame Grabber) des Typs 
microEnable 4 series des Herstellers Silicon Software an einen Computer, auf 
welchem die Sortiersoftware ausgeführt wird, angeschlossen. Der PC verfügt 
über eine Intel i7-5960X CPU, 16 GB RAM sowie eine NVIDIA GeForce 
GT 740 Grafikkarte. Zudem ist ein CAN-Controller für die Verbindung mit 
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3 Vorstellung des Referenzsortiersystems mit Farbzeilenkamera 


Abbildung 3.2: Foto des Referenzsortiersystems als Rutschensortierer. Im Vergleich zu Abbil- 
dung 3.1 ist das System hier mit eine Rutsche anstelle eines Förderbands ausge- 
stattet. Quelle: Fraunhofer IOSB 


dem CAN-Buskoppler der Separationseinheit eingebaut. Als Betriebssystem 
kommt Microsoft Windows 7 64-bit zum Einsatz. 


Für die Validierung der in Kapitel 4 vorgestellten neuen Sortierverfahren müs- 
sen Änderungen am physikalischen Aufbau des Sortiersystems vorgenommen 
werden. Aufgrund seiner Modularität eignet sich der physikalische Aufbau 
des Referenzsystems als Ausgangsbasis für die in Abschnitt 5.1 beschriebenen 
Erweiterungen. 
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3.2 Sortiersoftwaremodule des Referenzsortiersystems 


3.2 Sortiersoftwaremodule des 
Referenzsortiersystems 


Das Referenzsortiersystem verfiigt tiber eine Sortiersoftware, welche eine Sor- 
tierung nach Form- und Farbmerkmalen ermöglicht. Im Folgenden werden jene 
Softwaremodule vorgestellt, welche auch für das bildfolgenerweiterte System 
eingesetzt werden. 


3.2.1 Bildaufnahme, Bildvorverarbeitung und 
Pixelklassifikation 


Die Referenzsortiersoftware enthält ein Modul für die Bildaufnahme, Bildvor- 
verarbeitung und Pixelklassifikation. Es ermöglicht die Parametrisierung der in 
Abschnitt 3.1 genannten Bilderfassungskarte und der Farbezeilenkamera, z.B. 
die Belichtungszeit und Zeilenfrequenz. Über die Bilderfassungskarte wird ein 
physikalisches Taktsignal erzeugt, welches als Trigger für die Kamera und die 
zeitliche Ansteuerung der Schnellschaltventile dient. Durch dieses Signal wird 
eine zeitliche Synchronisierung zwischen Sensorik und Aktorik realisiert. 


Das Softwaremodul sieht diverse Verarbeitungsschritte für die Bildvorverar- 
beitung vor. Als erste Operation findet üblicherweise eine Beleuchtungskor- 
rektur auf Basis einer Weißreferenz statt. Die Ursache für mögliche Inhomo- 
genitäten liegt in einer örtlich veränderlichen Beleuchtung der Szene, so dass 
ein Bild g(x) durch ein multiplikatives Signalmodell 


g(x) = b(x) - s(x) (3.1) 


beschrieben werden kann, wobei s(x) das Nutzsignal und b(x) die Inhomoge- 
nität bezeichnet [Bey+12, Kap. 9]. Durch die Aufnahme einer Weißreferenz 
entsteht ein zu b(x) proportionales Referenzbild, so dass entsprechend Glei- 
chung (3.1) eine örtliche Homogenisierung mittels Division durch b(x) erzielt 
werden kann. 


Darauf aufbauend erfolgt die Bildsegmentierung durch eine pixelweise Klas- 
sifikation. Im betrachteten Fall einer Farbbildaufnahme ist jeder Bildpunkt 
durch die ganzzahligen Intensitäten seiner drei Farbkomponenten beschrieben. 
Die pixelweise Farbklassifikation weist jedem Bildpunkt auf Basis seiner drei 
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3 Vorstellung des Referenzsortiersystems mit Farbzeilenkamera 


Farbkomponenten einen einzelnen ganzzahligen Wert, welcher die Farbklasse 
repräsentiert, zu. Es erfolgt also eine Dimensionsreduktion durch die Abbil- 
dung des drei- auf ein einkanaliges Bild, welches im Folgenden als Attributbild 
bezeichnet wird. Dem Hintergrund ist dabei die Farbklasse 0 vorbehalten. 


Durch binäre Einteilung der Farbklassen in Hintergrund und Nicht-Hintergrund 
wird das Attributbild auf ein Maskenbild abgebildet. Auf diesem Maskenbild 
wird die Anwendung morphologische Grundoperation unterstützt. Formal las- 
sen sich diese Operationen wie folgt ausdrücken. Definiert wird G als Punkt- 
menge des Binärbilds h(x), welche sich aus allen Bildpunkten mit dem Wert 
1 zusammensetzt: 


G ={x|h(x) =1}. (3.2) 


Dies bedeutet, dass G die Menge aller Bildpunkte darstellt, welche mittels 
pixelweiser Farbklassifikation nicht dem Hintergrund zugeordnet werden. Bei 
der Anwendung einer morphologischen Operation spielen nun die Nachbar- 
schaftsbeziehungen zwischen den Pixeln eine entscheidende Rolle. Die Defini- 
tion dieser Nachbarschaftsbeziehung erfolgt mittels einer Strukturmatrix bzw. 
eines strukturierenden Elements S, welches i. d. R. heuristisch aufgabenspezi- 
fisch definiert wird [Bey+12, Kap. 12]. Das strukturierende Element beinhaltet 
dabei die gesetzten Elemente der Strukturmatrix. Fiir die Elementarraute 


0 1 0 
1 1 1 (3.3) 
010 


ist beispielsweise das strukturierende Element Sgr durch 
Ser = {(0,0)7, (1,0)", (0, 1)", (-1,0)", (0, -1)"} (3.4) 
gegeben, wobei der Nullpunkt als Mitte der Matrix zu sehen ist. 


In dieser Arbeit wird die morphologische Operation Erosion eingesetzt. Bild- 
lich gesprochen werden hierdurch Pixel am Rand von Vordergrundstrukturen, 
also belegten Bereichen der Maske, zusätzlich dem Hintergrund zuordnet. 
Hierdurch können bei Anwendung der Maske auf dem Farbbild Farbartefakte, 
welche typischerweise an den Rändern von Objekten entstehen, unterdrückt 
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werden. Die Erosion ist als die Menge der Verschiebungen w von S definiert, 
für welche die verschobenen Mengen (S), komplett in G enthalten sind: 


GES ={w|(S)w SG}. (3.5) 
Die Verschiebung ist hierbei durch 
(S)w = {s|s=x+w,x E€ S} (3.6) 


definiert. Die Erosion verkleinert daher die Punktemenge G in Abhängigkeit 
des strukturierenden Elements S, wobei Bereiche im Inneren von Objekten, 
welche größer als die Strukturmatrix sind, unverändert bleiben und lediglich 
die Ränder des Objekts verkleinert werden [Bey+12, Kap. 12]. 


Die Ausgabe dieses Softwaremoduls ist das maskierte Attributbild sowie op- 
tional das homogenisierte Farbbild. Die Bilddaten werden über ein Shared 
Memory für die weitere Bildauswertung zur Verfügung gestellt. 


3.2.2 Berechnung der Ausblasfenster und Steuerung der 
Schnellschaltventile 


Die Referenzsortiersoftware enthält ebenfalls ein Modul für die Berechnung 
der Ausblasfenster und Steuerung der Schnellschaltventile. Die Eingabe für 
dieses Modul stellen die achsenparallelen umschließenden Rechtecke der Par- 
tikel, welche ausgeschleust werden sollen, im Kamerakoordinatensystem dar. 
Das Softwaremodul bildet die Kamerakoordinaten auf die Ventile in dem Dü- 
senbalken ab. Für die örtliche Komponente eines Ausblasfensters geschieht dies 
durch eine parametrierte Abbildung der Kamerakoordinaten auf die Düsenko- 
ordinaten. Da die optische Auflösung i.d.R. deutlich höher als die pneumati- 
sche ist, werden hierfür Pixelintervalle den einzelnen Düsen zugeordnet. Für 
die zeitliche Komponente wird eine Verzögerungszeit, welche den erwarteten 
zeitlichen Versatz zwischen Detektion und Separation darstellt, parametriert 
(vergleiche Gleichung (1.2)). Mittels der bekannten Zeilenfrequenz wird die 
Verzögerungszeit in Zeilennummern umgerechnet und auf die Koordinaten des 
achsenparallelen umschließenden Rechtecks aufsummiert. 


Die Elektronik zur Ansteuerung der Ventile ist mit diesem Systemtakt syn- 
chronisiert, sodass eine zeitliche Synchronisation zwischen Sichtung und Se- 
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zeitliches Raster 
zeitliches Raster 


Ct a. a D E. e 
örtliches Raster örtliches Raster 


(a) Keine Aufweitung des Ausblasfensters. (b) Örtliche Aufweitung des Ausblasfensters. 


zeitliches Raster 
zeitliches Raster 


a Hl D > 
örtliches Raster örtliches Raster 


(c) Zeitliche Aufweitung des Ausblasfensters. (d) Örtliche und zeitliche Aufweitung des Ausblas- 
fensters. 


Abbildung 3.3: Schematische Darstellung der parametrierbaren Aufweitung der Ausblasfenster. 
Die rote Raute stellt ein auszuschleusendes Objekt dar. Durch das Ausblasfenster 
aktivierte Zellen des Rasters sind in blau dargestellt. 


paration besteht. Die berechneten Aktivierungsdaten werden über den im PC 
eingebauten CAN-Controller an den CAN-Buskoppler übertragen. 


Zudem besteht die Möglichkeit, die Ausblasfenster aufzuweiten (vergleiche 
Abbildung 3.3). Bildlich entspricht dies einer künstlichen Vergrößerung des 
achsenparallelen umschließenden Rechtecks und hat zur Folge, das vermeint- 
lich mehr Düsen über einen längeren Zeitraum aktiviert werden. Durch die 
Wahl größerer Ausblasfenster kann die Wahrscheinlichkeit der erfolgreichen 
Ablenkung eines Partikels gesteigert werden. Im Gegenzug steigt allerdings 
ebenfalls das Risiko, benachbarte Partikel fälschlicherweise mit auszuschleu- 
sen. Ebenfalls steigt der Druckluftbedarf. 
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4  Bildfolgenerweiterte optische 
Schüttgutsortierung 


In diesem Kapitel wird die Entwicklung der Bildfolgenauswertung für den 
Einsatz in einem experimentellen Sortiersystem vorgestellt. Hierzu werden 
in Abschnitt 4.1 die notwendigen Erweiterungen an den Softwaremodulen 
des Referenzsystems sowie die neu entwickelte Bildauswertung beschrieben. 
Das umgesetzte Multiobject-Tracking-System wird detailliert in Abschnitt 4.2 
vorgestellt. Einen Schwerpunkt der Entwicklungen stellt die in Abschnitt 4.3 
vorgestellte Erprobung des Systems hinsichtlich Ergebnisqualität und Laufzeit 
dar. In diesem Zuge werden Beiträge zur echtzeitfähigen Lösung des Zuord- 
nungsproblems, einem Teilproblem des Trackings, präsentiert und evaluiert. 


4.1 Bilddatenverarbeitungskette mit 
Flachenkamera 


Im Folgenden werden die Erweiterungen der Softwaremodule, welche in Ab- 
schnitt 3.2 beschrieben wurden, sowie die im Rahmen der Arbeit entwickelte 
Bildauswertung fiir die bildfolgenerweiterte Schiittgutsortierung vorgestellt. 


4.1.1 Bildaufnahme, Bildvorverarbeitung und 
Pixelklassifikation 


Das bestehende Softwaremodul fiir Bildaufnahme, Bildvorverarbeitung und 
Pixelklassifikation wird fiir den Einsatz von Farbflächenkameras erweitert. 
Zur Gewinnung von Farbinformation werden bei Flächenkameras üblicher- 
weise CMOS-Sensoren mit Bayer-Farbfiltermosaik eingesetzt [Sze10, Kap. 
2]. Der Sensor ist hierbei von einem Farbfilterarray überzogen, wodurch die 
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Abbildung 4.1: Beispielhafte Anordnung des Farbfilterarrays bei einem Sensor mit Bayer-Muster. 


Hälfte des Sensors mit Grünfiltern und der Rest gleichermaßen mit Rot- und 
Blaufiltern versehen ist. Hierdurch entsteht ein Muster wie in Abbildung 4.1 
schematisch dargestellt. Das rohe Kamerabild enthält also zunächst pro Pixel 
nur Information für eine Farbe. Durch Interpolation werden bei der sogenann- 
ten Demosaikierung die jeweils fehlenden Farbwerte für alle Pixel berechnet. 


Für den Einsatz einer Farbflächenkamera wird die Bildvorverarbeitung um 
die Demosaikierung ergänzt. Hierfür wird eine Funktion des Herstellers der 
Bilderfassungskarte genutzt [Bas21]. Konkret kommt eine lineare Interpolation 
mit einer Filtergröße von 3x3 Pixeln zum Einsatz. Für die weitere Verarbeitung 
werden die in Abschnitt 3.2.1 beschriebenen Funktionen genutzt. 


4.1.2 Bildauswertung 


Im Rahmen dieser Arbeit wird eine neue Bildauswertesoftware für die sensor- 
gestützte Schüttgutsortierung entwickelt. Sie eignet sich sowohl für den Einsatz 
mit Zeilen- als auch Flächenkameras und ist in zwei Submodule gegliedert: 
die Objektextraktion und Objektklassifikation. Die Implementierung erfolgt in 
der Programmiersprache C++ unter Verwendung der Sprachfeatures C++11. 
Der Softwareablauf ist schematisch in Abbildung 4.2 dargestellt und wird im 
Folgenden für die zwei Submodule detailliert erläutert. 
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Abbildung 4.2: Schematische Darstellung der Funktionen der umgesetzten Bildauswertung. 


Objektextraktion 


Das erste Submodul hat die Aufgabe, in dem bereits segmentierten Attributbild, 
welches im Zuge der Pixelklassifikation der Vorverarbeitung entstanden ist, 
einzelne Partikel zu detektieren. Hierzu wird das Attributbild aus dem Shared 
Memory ausgelesen und als Binärbild interpretiert. Auf diesem Binärbild wird 
dann eine Zusammenhangsanalyse durchgeführt. Bei der Zusammenhangsana- 
lyse wird jeder zusammenhängenden Region von Vordergrundpixeln ein ein- 
deutiger Bezeichner zugewiesen, welcher in diesem Fall ein Partikel eindeutig 
kennzeichnet. Algorithmisch wird das Problem bereits seit den Anfängen der 
digitalen Bildverarbeitung betrachtet und eine Vielzahl an Algorithmen zu 
dessen Lösung ist bekannt [He+17]. Als Definition von zusammenhängend 
wird üblicherweise entweder eine Vierer- oder Achter-Nachbarschaft ange- 
nommen (siehe Abbildung 4.3). Bestehende Algorithmen unterscheiden sich 
in erster Linie in ihrer Laufzeit, ihrem Speicherbedarf, sowie der Möglichkei- 
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(a) Vierer-Nachbarschaft (b) Achter-Nachbarschaft 


Abbildung 4.3: Gängige Nachbarschaftsbeziehungen für die Zusammenhangsanalyse. 


ten zur schritthaltenden Berechnung von Merkmalen der zusammenhängenden 
Regionen. Bei der Umsetzung wird der implementierte Algorithmus im Sin- 
ne des Strategie-Entwurfsmusters [Gam+94, Kap. 5] hinter einer definierten 
Schnittstelle verborgen, so dass dieser bei Bedarf ausgewechselt werden kann. 


Aufgrund des festen Echtzeitkriteriums spielt bei der Algorithmusauswahl 
insbesondere eine niedrige Laufzeit eine große Rolle. Um ebenfalls mit dem 
Einsatz einer Zeilenkamera kompatibel zu sein muss zudem beachtet werden, 
dass die zu verarbeitende Maske ggf. nicht vollständig zur Verfügung steht, 
sondern über die Zeit zusammengesetzt werden muss. Daher eignen sich ins- 
besondere Algorithmen, welche die Bilddaten zeilenweise verarbeiten. 


Die letztendliche Umsetzung basiert auf dem in [He+10] vorgestellten Algo- 
rithmus und ist als Pseudo Code in Algorithmus 1 dargestellt. Beim Einsatz 
einer Flächenkamera wird die Funktion für alle in einem Bild enthaltenen Zei- 
len nacheinander aufgerufen. Nach der Verarbeitung des Flächenbildes werden 
zudem alle Objekte als abgeschlossen angesehen und von der Funktion zu- 
rückgegeben. Zudem wird beim Einsatz mit Flächenkamera die Bedingung 
eingeführt, dass ein Objekt sich vollständig im Bild befinden muss. Diese Be- 
dingung dient der Robustheit der Bestimmung des Flächenschwerpunkts, was 
für das im weiteren Verlauf vorgestellte Tracking System essentiell ist. Zur 
Realisierung dieser Bedingung wird geprüft, ob ein Objekt in der ersten oder 
letzten Bildzeile präsent ist. Ist dies der Fall, wird das Objekt nicht für die 
weitere Verarbeitung berücksichtigt. 
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Algorithmus 1 Zeilenscannender Algorithmus zur Zusammenhangsanalyse in 
Anlehnung an [He+10]. 


function SCANLINE(a, y) > a: Attributbild-Zeile, y: Zeilennummer 
Cfinished — Ô 
Cactive — GetActiveComponents() 
x0 
while x < line_width do 
if a[x] + 0 then 


Xstart X 
o <— InitEmptyComponent() > Entnahme aus Speicherpool 
xextl 
while a[i] # 0 and x < line_width do 
xeo-x+l 
Xenda — x — 1 
s — InitSegment(%gtart, Xend) > Entnahme aus Speicherpool 


o.addSegment(s) 
for c € Cactive dO 
r — c.getSegments(y — 1) 
if Overlap(r, s) then 
Merge(o, c) > Rückgabe in Speicherpool 
else 
xex+l1 
for c € Cactive do 
if c.getSegments(y) = 0 or c.getBBoxHeight() > 6, then 
Cfinished -add(c) 
Cactive-Lemove(c) 


return Cfinished 
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Die Besonderheit des Algorithmus besteht darin, dass das Bild zeilenweise 
abgetastet und zusammenhängende Zeilenabschnitte für die weitere Verar- 
beitung zusammengefasst werden, wie es z.B. bei sogenannten Run-Length- 
Kodierungen üblich ist. Dadurch müssen alle Pixel nur einmalig betrachtet wer- 
den, wodurch die Anzahl laufzeitintensiver Speicherzugriffe gering gehalten 
wird. Dies stellt hinsichtlich der Laufzeit einen erheblichen Vorteil gegenüber 
weit verbreiteten Two-Pass-Algorithmen dar, in welchen jedes Pixel zweima- 
lig betrachtet werden muss. Die so entstandenen Zeilenabschnitte müssen nun 
lediglich mit den Zeilenabschnitten der vorangegangenen Bildzeile auf Zusam- 
menhang entsprechend der gewählten Nachbarschaft geprüft werden. Hierfür 
ist nur ein Vergleich der jeweiligen Start- und Endkoordinaten nötig. 


Eine umgesetzte Erweiterung des Algorithmus, welche für den Einsatz von 
Zeilenkameras relevant und in Algorithmus 1 gelb hervorgehoben ist, besteht 
darin, dass Objekte in der zulässigen Höhe ihres achsenparallelen umschlie- 
Benden Rechtecks und somit in der Anzahl an Bildzeilen mittels eines Schwel- 
lenwerts 9; beschränkt werden. Hierdurch wird sichergestellt, dass weitere 
Berechnungsschritte, z. B. die Klassifikation, durchgeführt werden, bevor das 
Partikel bereits (teilweise) die Separationsstufe passiert hat. Zudem wird die 
Erzeugung infinit langer, fälschlicher Objekte, z. B. hervorgerufen durch Ver- 
schmutzung oder Verkanten eines Partikels, unterdrückt. 


Eine zusätzliche Erweiterung des Algorithmus ist die optionale Bildkachelung 
wie in Abbildung 4.2 schematisch dargestellt. Hierzu besteht die Möglichkeit, 
die Kamerazeile virtuell in mehrere Abschnitte aufzuteilen, auf welchen dann 
mittels Multithreading die Zusammenhangsanalyse parallel ausgeführt wird. 
Um das Zerschneiden von Objekten durch diese Kachelung zu vermeiden wird 
ein Überlapp zwischen den einzelnen Abschnitten definiert. Dieser Parameter 
sollte aufgabenspezifisch anhand der erwarteten Objektgrößen gewählt wer- 
den. Auf Basis der Position in diesem Überlappbereich kann ein Objekt dann 
eindeutig einer der Kacheln zugeordnet werden. Hierbei erhält jene Kachel den 
Zuschlag, in welcher der Flächenschwerpunkt des Objekts liegt. 


Eine Herausforderung bei der Umsetzung besteht darin, dass die benötigte 
Anzahl an Datenstrukturen zur Abbildung der Zeilensegmente sowie Objekte 
vom Bildinhalt abhängig und im Voraus nicht bekannt ist. Da dynamische 
Speicherallokierungen sich negativ auf die Laufzeit auswirken und zu einer 
Fragmentierung des Speichers führen, sollen diese vermieden werden. Um dies 
zu gewährleisten, werden sogenannte Speicherpools für die Zusammenhangs- 
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Speicherpool: Speicherpool: 


Segmente Objekte 


| 


Zusammenhangsanalyse —» Objekt-Verarbeitung 


Abbildung 4.4: Schematische Darstellung der Speicherverwaltung mittels Speicherpools. Ob- 
jektinstanzen werden während der Zusammenhangsanalyse angefordert und nach 
Abschluss der Verarbeitung wieder zurück in den Pool gegeben. 


analyse umgesetzt. Ein Speicherpool beinhaltet Objekte, welche die Zeilenab- 
schnitte beschreiben, z. B. in Form der Bildkoordinaten und Attributbilddaten. 
Ein weiterer Speicherpool beinhaltet Objekte, welche die zusammenhängen- 
den Strukturen, also Partikel, beschreiben. Letzteres beinhaltet u. a. eine Liste 
mit den zugehörigen Zeilenabschnitten. Die Speicherpools werden während 
der Instanziierung mit einer konfigurierbaren Anzahl an Objekten initialisiert. 
Während des Sortierbetriebs greift die Zusammenhangsanalyse auf die Objek- 
te aus den Pools zu. Am Ende der Verarbeitung werden die Objekte dann in 
den Pool zurückgegeben (siehe Abbildung 4.4). 


Bevor die extrahierten zusammenhängenden Partikel den weiteren Verarbei- 
tungsschritten zugeführt werden, wird zusätzlich noch ein Größenfilter, ange- 
lehnt an die Funktionsweise eines Siebs, angewandt. Hierfür können Intervalle 
hinsichtlich der Fläche sowie der längeren Kante des achsenparallelen um- 
schließenden Rechtecks definiert werden. Nur Partikel, für welche die Werte 
innerhalb dieses Bereichs liegen, werden weiter verarbeitet. Alle anderen wer- 
den verworfen und die Datenstrukturen den Speicherpools wieder zur Verfü- 
gung gestellt. Durch diese Funktion können künstliche Kleinstpartikel, wie sie 
z.B. durch das Auftreten von Staub entstehen können, früh verworfen und so 
die Rechenauslastung gering gehalten werden. 


Aufbereitung und Objektklassifikation 


Die weitere Verarbeitung der extrahierten Partikelregionen gliedert sich im 
Wesentlichen in zwei Schritte: die Objekttrennung und die Objektklassifika- 
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tion. Diese werden pro Objekt in einem separaten Thread ausgeführt (siehe 
Abbildung 4.2). Die Implementierungen werden, genau wie die Zusammen- 
hangsanalyse, hinter einer definierten Schnittstelle verborgen, sodass sie ein- 
fach austauschbar sind. 


Die Objekttrennung hat das Ziel, Objektagglomerate, welche z. B. aufgrund 
einer hohen Belegungsdichte bzw. einer ungenügenden Vereinzelung zu Stan- 
de kommen können, aufzulösen (vergleiche Abschnitt 2.3). Aufgrund der in 
der Zusammenhangsanalyse angewandten Nachbarschaft werden solche Ag- 
glomerate als Einzelpartikel detektiert (siehe Abbildung 4.5). Algorithmen 
zur Auflösung der Agglomerate arbeiten i.d.R. mit Annahmen über die Ob- 
jektform. Für die im weiteren Verlauf der Arbeit betrachteten Sortieraufgaben 
werden konvexe Partikelformen angenommen. 


Der für die Objekttrennung umgesetzte Algorithmus ist an [Kum+06] ange- 
lehnt. Zunächst wird die konvexe Hülle für die zusammenhängende Region 
berechnet. Für ein Objekt mit einer Konturlänge von n Pixeln ist dies in 
O(nlogn) möglich [Ber+13, Kap. 1]. Die Abschnitte, an welchen die kon- 
vexe Hülle nicht mit der Kontur übereinstimmt, werden dann nach lokalen 
Konkavitäten abgesucht. Die so identifizierten Punkte dienen als Kandidaten 
für die Anwendung einer Trennlinie und sind beispielhaft in Abbildung 4.5b 
als rote Pixel gekennzeichnet. Im nächsten Schritt wird für jeden Kandidaten- 
punkt eine Gerade, welche senkrecht zu dem Abschnitt der konvexen Hülle ist 
und durch den Punkt verläuft, ermittelt. Über die Winkel der so entstehenden 
Geraden zueinander werden die Punkte zu Paaren zugeordnet. Durch die so 
ermittelten korrespondierenden Punkte wird die finale Schnittgerade gelegt. 
Ein beispielhaftes Ergebnis ist in Abbildung 4.5c dargestellt. 


Die Objektklassifikation hat das Ziel, jedem Einzelpartikel eine eindeutige 
Klasse zuzuweisen. Während beliebig viele solcher Klassen zulässig sind, 
werden sie für die Sortierung in zwei Gruppen eingeteilt, wobei eine Gruppe 
dem Produkt und eine dem Rest und somit den Sortierentscheidungen ak- 
zeptiert oder abgelehnt entspricht. Als Basis für die Klassifikation wird eine 
Menge an Merkmalen berechnet, welche sich sowohl auf die Formeigenschaf- 
ten, z.B. Größe, Länge, Breite, Kompaktheit, als auch Farbeigenschaften, z.B. 
Farbflächenanteile gemäß des Attributbilds, beziehen. In einem regelbasierten 
Klassifikator kann nun für jede Klasse konfiguriert werden, in welchem In- 
tervall die entsprechenden Merkmalsausprägungen liegen müssen, damit das 
Objekt der Klasse zugewiesen wird. Um Rechenzeit zu sparen werden die 
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(a) (b) (c) 


Abbildung 4.5: Visualisierung einzelner Arbeitsschritte zur Auflösung von Objektagglomeraten. 
In (a) ist ein Ausschnitt eines Maskenbilds zu sehen. Durch die Zusammenhangs- 
analyse entsteht fälschlicherweise ein einziges Objekt, wie in (b) dargestellt. Die 
konvexe Hülle ist in (b) zudem blau und das entsprechende achsenparallele um- 
schließende Rechteck in grün dargestellt. Die Kandidaten für die Anwendung 
einer Trennlinie sind rot hervorgehoben. Das Ergebnis nach erfolgter Objekttren- 
nung ist in (c) zu sehen. 


Merkmale hierfür erst auf Anfrage, d. h., sobald sie vom Klassifikator genutzt 
werden, berechnet. 


4.1.3 Berechnung der Ausblasfenster und Steuerung der 
Schnellschaltventile 


Für die Berechnung der Ausblasfenster und Steuerung der Schnellschaltventile 
wird das in Abschnitt 3.2.2 beschriebene bestehende Softwaremodul einge- 
setzt. Die parametrisierte Latenz entfällt jedoch, da die zeitliche Voraussage 
Bestandteil des prädiktiven Multiobject-Tracking-Systems ist. Dies wird im 
Detail in Kapitel 6 beschrieben. Die genannten Möglichkeiten zur Aufweitung 
der Ausblasfenster bleiben erhalten. 


Eine Herausforderung stellt die zeitliche Synchronisation zwischen Sensorik 
und Aktorik dar. Im Referenzsystem wird hierfür der Takt genutzt, mit welchem 
die Sensorik getriggert wird und der Zeilenfrequenz entspricht. Würde nun bei 
Einsatz einer Flächenkamera die Bild- anstelle der Zeilenfrequenz genutzt 
werden, ergäbe sich eine deutlich gröbere zeitliche Auflösung, da die Zeilen- 
frequenzi.d.R. deutlicher höher im Vergleich zu einer möglichen Bildfrequenz 
liegt. Als Lösung wird die Bildfrequenz mittels des Takts überabgetastet, wobei 
ein konfigurierbares Vielfaches des so resultierenden, höherfrequenten Takts 
als Bildtrigger verwendet wird, siehe Abbildung 4.6. 
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Szene 


N Zeilenkamera 


Flächenkamera 


Transportrichtung 
| 


| O]. 

= A >| 
Zeilenkamerabild: Flächenbild: 
Endlosbild einzelner Uberlappender Bildstapel 


Pixelzeilen 


Abbildung 4.6: Schematische Illustration der Unterschiede in der Bildinterpretation sowie der 
Zeitsynchronisation bei Verwendung einer Zeilen- und einer Flachenkamera. Die 
längeren Striche auf der Zeitachse entsprechen den Bildtrigger-Zeitpunkten und 
die kürzeren Striche dem überabgetasteten Signal. 


4.2 Multiobject-Tracking für die sensorgestützte 
Schüttgutsortierung 


Das Problem des Multiobject-Tracking (MOT), also der Verfolgung mehre- 
rer Objekte über die Zeit, findet bereits seit vielen Jahren wissenschaftliche 
Beachtung. Dies gilt insbesondere für den Forschungsbereich des computer- 
basierten Sehens (engl. Computer Vision). Die Ursprünge liegen in Überwa- 
chungssystemen, in welchen ein oder mehrere Sensoren eingesetzt werden um 
die Umgebung zu interpretieren. Hierfür kommen typischerweise Radar, IR 
und Sonar zum Einsatz [Bla+99, Kap. 1]. In Referenz auf dessen Herkunft 
wird die Aufgabenstellung daher auch häufig gleichbedeutend als Multitarget- 
Tracking (MTT) bezeichnet. Selbst einfache Verfahren des MOT haben eine 
Komplexität, welche proportional zum Quadrat der Anzahl n an zu verfolgen- 
den Objekten steigt und liegen somit in der Komplexitätsklasse O(n”) [Uh192]. 


Ziel des MOT-Systems für die sensorgestützte Schüttgutsortierung ist es, ein- 
zelne im Materialstrom enthaltene Partikel mehrfach über einen Zeitraum zu 
erfassen und zu verfolgen. Die so gewonnene Bewegungsinformation wird 
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dann im weiteren Verlauf genutzt, um das Bewegungsverhalten des Materials 
quantitativ bewerten zu können (vergleiche Kapitel 5), eine präzise, partikel- 
individuelle Ansteuerung der Separation zu berechnen (vergleiche Kapitel 6), 
sowie eine Materialcharakterisierung auf Basis des Bewegungsverhaltens vor- 
zunehmen (vergleiche Kapitel 7). 


In Anlehnung an [Pfal9, Kap. 3] werden folgende Begriffe definiert: 


e Unter einem Partikel wird ein real existierendes Schüttgutpartikel im 
Materialstrom verstanden. Bei generellen Aussagen zum MOT wird syn- 
onym für die real existierende Entität auch der Begriff Objekt verwendet. 


Eine Messung bezeichnet ein durch die Bildauswertung detektiertes Par- 
tikel. Im fehlerfreien Fall entspricht eine Messung also genau einem 
Partikel. Aufgrund potentieller Fehler in der Bildauswertung sind die 
Begriffe jedoch nicht synonym. Wie im weiteren Verlauf erläutert, be- 
steht eine Messung in dem vorgestellten System aus einer Position. 


Mit dem Begriff Track wird Information über ein vermeintliches Partikel 
bezeichnet. Hierzu gehört die aktuelle Zustandsschätzung, die verbunde- 
ne Unsicherheit sowie eine Menge an bereits zugeordneten Messungen. 


Zusätzlich wird der Begriff Trajektorie genutzt, um einen Bewegungspfad zu 
beschreiben. Mit der Trajektorie eines Tracks ist damit der zeitliche Verlauf al- 
ler zugeordneten Messungen gemeint, die Trajektorie eines Partikels beschreibt 
den Bewegungspfad eines real existierenden Schüttgutpartikels. 


4.2.1 Aufbau des Multiobject-Tracking-Systems 


Zu den Aufgaben eines MOT-Systems gehören, je nach Definition, die De- 
tektion von Objekten, die Realisierung eines geeigneten Bewegungsmodells, 
sowie die korrekte Zuordnung einzelner Messungen in mehreren Zeitschritten 
zu dem selben Track [Luo+14]. Die Schwierigkeit des Problems besteht ins- 
besondere darin, dass die Objektzugehörigkeit der Messungen nicht bekannt 
ist. Dies wird anhand von Abbildung 4.7 verdeutlicht. Die schwarzen Marker 
zeigen Messungen zu einem Zeitschritt fo, die zwei roten zu fı. Anhand der 
gestrichelten Linien sind mögliche Bewegungspfade der Objekte gekennzeich- 
net. Die neuen, roten Messungen müssen nun den bestehenden Tracks, hier 
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Abbildung 4.7: Beim Multiobject-Tracking mit harten Assoziationsentscheidungen müssen in 
jedem Zeitschritt die Messungen einem Objekt zugeordnet werden. Die Anzahl 
möglicher Lösungen der Zuordnung steigt dabei mit der Anzahl an Messungen 
bzw. Objekten. 


repräsentiert durch die jeweils letzte Messung in schwarz, zugeordnet wer- 
den. Bei der Zuordnung von n Messungen zu n Objekten existieren dabei n! 
mögliche Lösungen. 


Das Zuordnungsproblem kann vereinfacht werden, indem für alle aktiven 
Tracks der Zustand auf Basis eines Bewegungsmodells für den folgenden Zeit- 
schritt, d.h. in diesem Kontext das nächste Kamerabild, prädiziert wird. Es 
erfolgt dann die Zuordnung neuer Messungen zu diesen Schätzungen und 
somit zu den bestehenden Tracks anhand eines Abstands- bzw. Ähnlichkeits- 
maßes. Nach der erfolgreichen Zuordnung zwischen den neuen Messungen 
und den bestehenden Tracks bzw. derer Prädiktionen werden die aktualisierten 
Tracks noch verwaltet, um beispielsweise neue und zu löschende Tracks zu 
behandeln. 


Im Folgenden werden die genannten Module des MOT-Systems zunächst ge- 
nerell vorgestellt. Das konkrete, im Rahmen dieser Arbeit umgesetzte System, 
wird darauf folgend in Abschnitt 4.2.2 detailliert beschrieben. 


Die Aufgabe der Detektion von Objekten und somit der Erzeugung von Mes- 
sungen liegt bei dem eingesetzten Bildverarbeitungssystem. Erfasste Messun- 
gen können Bestandteil einer bereits in der Beobachtung begonnenen Trajek- 
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torie und somit im fehlerfreien Fall Tracks sein oder den Beginn eines neuen 
Tracks darstellen. Zudem können sie fehlerbehaftet sein. Um eine Zuordnung 
der erfassten Messungen zu den bestehenden Tracks zu ermöglichen oder auch 
alternativ zu entscheiden, ob es sich um einen neuen Track handelt, wird der 
Zustand aller bestehenden Tracks für den aktuellen Zeitschritt durch ein Dy- 
namikmodell geschätzt. 


In dieser Arbeit wird hierfür in Anlehnung an [Pfal9, Kap. 3] das Kalman Fil- 
ter, ein lineares Bayes’sches Schätzverfahren, eingesetzt. Alternative Ansätze, 
welche ebenfalls tiefe neuronale Netze berücksichtigen, wurden in [Thu+21] 
untersucht. Das Kalman Filter verfolgt eine Schätzung X und die dazugehörige 
Kovarianzmatrix C. Mit jeder neuen Messung 2; werden diese im Zuge eines 
Korrekturschritts aktualisiert. Eine aktualisierte Schätzung x, und Kovarianz- 
matrix C? werden anhand von 


x = x? + K, (2; = H,3?) 5 
C = Œ —-K,H;C?P (4.1) 


t? 


K, = CPH,(CY + HC HT)! 


und somit auf Basis der aktuellen Schätzung x der aktuellen Kovarianzmatrix 
C, dem Messmodell in Form der Beobachtungsmatrix H,, sowie der Kova- 
rianzmatrix des Messrauschens C7, durch welche Fehler in der Bildaufnahme 
und -verarbeitung modelliert werden, berechnet. Nach der Durchführung des 
beschriebenen Korrekturschritts wird für den nächsten Zeitschritt eine Prädik- 
tion des Zustands 2a und der Kovarianzmatrix Cy anhand von 
R = FX} + Gy, , 
C? | =F.CGF + CF er 
eo ~ EME t t 
berechnet. Durch die Kovarianzmatrix CF wird das Prozessrauschen model- 
liert. Die Systemmodellierung erfolgt durch die Übergangsmatrix F, und G+. 
Da für jeden aktiven Track in jedem Zeitschritt das Dynamikmodell aktua- 
lisiert und die neue Schätzung berechnet werden muss, liegt dieser Berech- 
nungsschritt in der Komplexitätsklasse O(N), wobei N die Anzahl der aktiven 
Tracks darstellt. 


Aus Gleichung (4.1) wird deutlich, dass für die Durchführung des Korrek- 
turschritts neue Messungen den Tracks zugeordnet werden müssen. Derartige 
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Verfahren werden auch als Trackingalgorithmen mit harten Assoziationsent- 
scheidungen bezeichnet. Algorithmen, welche mit weichen oder gar ohne As- 
soziationsentscheidungen arbeiten, werden in diesem Kontext nicht behandelt. 
Nach Aktualisierung der Prädiktion, wie in Gleichung (4.2) dargestellt, wird 
daher in dem darauf folgenden Zeitschritt, d.h. dem nächsten Kamerabild, die 
Zuordnung der neuen Messungen zu den im vorherigen Zeitschritt berechne- 
ten Prädiktionen vorgenommen. Das Zuordnungsproblem ist dabei allgemein 
wie folgt formuliert: Es existiert eine Menge an Arbeitern und eine Menge 
an Aufgaben sowie Kosten a;,;, welche die Zuweisung zwischen Arbeiter i 
und Aufgabe j bewertet. Jedem Arbeiter soll genau eine Aufgabe zugeord- 
net werden und jede Aufgabe wird von genau einem Arbeiter bearbeitet. Die 
Zuweisung zwischen Arbeitern und Aufgaben soll so erfolgen, dass die Ge- 
samtkosten minimal sind. Das resultierende Optimierungsproblem ist durch 


N M 
min Qj jXi,j (4.3) 
i=l j=l 
unter den Nebenbedingungen 

M 

Ye 21 WeL.sN, 

j=l 

= (4.4) 


xij =1 Vj =1,...,M 


i=l 


als lineares Programm beschrieben, wobei N die Anzahl an Arbeitern und 
M die Anzahl an Aufgaben darstellt. Alternativ wird das Problem häufig 
auch graphentheoretisch anhand eines bipartiten, gewichteten Graphen for- 
muliert [Vas+09]. 


Um die eins-zu-eins Zuordnung aus Gleichung (4.4) gewährleisten zu können, 
muss N = M gelten. Ist dies nicht der Fall, kann entweder die Menge an 
Arbeitern oder an Aufgaben künstlich so erweitert werden, dass Gleichheit 
besteht. Dieser Aspekt wird in Abschnitt 4.2.2 aufgegriffen. Die Variable x; ; 
hat den Wert 1, falls Arbeiter 7 die Aufgabe j zugeordnet wurde, andernfalls den 
Wert 0. Ein Beispiel für potentielle Kosten und die resultierenden Zuweisungen 
ist in Abbildung 4.8 zu sehen. 
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Aufgabe j Aufgabe j 
732829 000010 
.| 840953 _| 001000 
51942830 8| 000001 
D 
EJ 458520 5 100000 
517343 010000 
290050 000100 
(a) Beispiel für die Kosten a;,; der Zuordnungen (b) Resultierende optimale Zuordnungen xj, j. 
zwischen Arbeitern und Aufgaben. Aufgrund der notwendigen eins-zu-eins Zu- 


ordnung darf jede Zeile und jede Spalte der 
Matrix nur ein gesetztes Element beinhalten. 


Abbildung 4.8: Exemplarisches Beispiel von (a) Kosten a;,; der Zuordnungen zwischen Ar- 
beitern und Aufgaben und (b) der optimalen Zuordnungen, jeweils als Matrix 
dargestellt. 


Im Kontext des MOT-Systems entsprechen die Arbeiter den Tracks und die 
Aufgaben den aktuellen Messungen. Die Kosten werden dann z.B. mittels 
einer geeigneten Distanzfunktion berechnet, siehe Abschnitt 4.2.2. Alternativ 
zu der in Gleichung (4.3) aufgezeigten Darstellung lässt sich das Problem auch 
als Maximierungsproblem darstellen. In diesem Fall repräsentiert a;,; einen 
Nutzen und das Ziel ist die Maximierung des Gesamtnutzens. 


Zur Lösung des Zuordnungsproblems existieren verschiedene Algorithmen, 
welche sich in der Qualität des Ergebnisses sowie der Komplexität bzw. be- 
nötigten Laufzeit unterscheiden. Für eine optimale Lösung beträgt die Kom- 
plexität O(N*). Im Kontext der sensorgestützten Schüttgutsortierung müssen, 
da der Materialdurchsatz und somit die Anzahl an Schüttgutpartikeln, welche 
verfolgt werden müssen, entscheidend für die Wirtschaftlichkeit des Systems 
ist, je nach Systemauslegung Tausende von Partikeln gleichzeitig verfolgt wer- 
den. Hierdurch entsteht ein hoher Berechnungsaufwand für die Lösung des 
Zuordnungsproblems. 


Eine potentielle Beschleunigung kann durch den optionalen Einsatz eines 
Gating erzielt werden [Uhl17]. Hierbei wird der Raum an Tracks und Mes- 
sungen vor Lösung des Zuordnungsproblems heuristisch partitioniert, so dass 
unwahrscheinliche Zuordnungen im Vorfeld ausgeschlossen werden. Verschie- 
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dene Gating-Varianten werden in [Bla+99, Kap. 6] erläutert. Das Zuordnungs- 
problem wird dann in mehrere, kleinere Zuordnungsprobleme, welche ggf. 
parallel berechnet werden können, aufgeteilt. Durch diesen Schritt können 
jedoch auch Fehler in den Zuordnungen entstehen. Zudem entsteht ein Mehr- 
aufwand durch die notwendige Ermittlung der Partitionierung. Dies wirkt sich 
wiederum negativ auf die benötigte Laufzeit aus. 


Neben den Teilaspekten des Bewegungsmodells und der Lösung des Zuord- 
nungsproblems müssen die Datenstrukturen verwaltet werden. Neue Tracks 
für Partikel, welche erstmalig den Sichtbereich der Kamera betreten haben, 
müssen erstellt sowie Tracks von Partikeln, welche nicht mehr sichtbar sind, 
da sie den Sichtbereich der Kamera verlassen haben bzw. deren Daten bereits 
für die Ausschleusung an die Aktorik gesendet wurden, gelöscht werden. 


4.2.2 Implementierung und Integration des 
Multiobject-Tracking-Systems in die 
Bildverarbeitungskette 


Das MOT-System wird, wie in Abbildung 4.9 schematisch dargestellt, in die 
Bildverarbeitungskette integriert [Fin16]. Hierfür wird das System analog zur 
Bildauswertung unter Verwendung der Sprachfeatures C++11 in der Program- 
miersprache C++ implementiert. Die Bildakquise, -vorverarbeitung sowie wei- 
terführende Bildverarbeitungsschritte erfolgen hierbei wie in Abschnitt 4.1 
beschrieben. 


Die Gewinnung neuer Messungen für das MOT erfolgt auf Basis der Zusam- 
menhangsanalyse. Eine Messung wird hierbei durch den Flächenschwerpunkt 
einer ermittelten zusammenhängenden Region, im fehlerfreien Fall also eines 
Partikels, repräsentiert und in Form einer 2D-Kamerakoordinate ausgedrückt. 
Für eine aus n Pixel bestehende, durch die Zusammenhangsanalyse extrahierte 
Region mit den Kamerakoordinaten p,,i = 1,...,n ergibt sich der Flächen- 
schwerpunkt aus 


= Sp. (4.5) 


Das umgesetzte MOT ist also ein Punkt-Tracking System. Die resultierenden 
Messungen können fehlerhaft sein, d.h. nicht dem korrekten Flächenschwer- 
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Abbildung 4.9: Schematische Darstellung der Bildfolgenauswertungskette mit MOT-System. 


punkt von Partikeln entsprechen, da z.B. Objektagglomerate als Einzelpar- 
tikel erkannt werden und somit durch einen einzelnen Flächenschwerpunkt 
beschrieben sein können (vgl. Abschnitt 4.1.2). 


Um eine größtmögliche Flexibilität hinsichtlich des Einsatzes von Klassifika- 
tionsverfahren zu erzielen, werden in der Datenstruktur der Tracks ebenfalls 
die Information über alle zugeordneten Messungen gespeichert. 


Lösung des Zuordnungsproblem 


Die gewonnenen Messungen eines Bildes sollen im nächsten Verarbeitungs- 
schritt den bestehenden Tracks zugeordnet werden. Dies geschieht wie in Glei- 
chung (4.3) dargestellt durch die Minimierung der Gesamtkosten oder alter- 
nativ die Maximierung des Nutzens der Zuweisungen. Die Kosten werden an 
dieser Stelle durch Distanzen d(&P,2) zwischen den aktuellen Messungen und 
Prädiktionen der Tracks modelliert. Ein alternativer Ansatz, welcher weite- 
re Merkmale für die Kostenfunktion berücksichtigt, ist in [Krol8; Kro+19] 
dargestellt. Die Distanzen werden üblicherweise in Form einer Distanz- oder 
auch Kostenmatrix, wie in Abbildung 4.10 dargestellt, als Datenstruktur re- 
präsentiert. Auf Basis der Kostenmatrix bestimmt ein Algorithmus dann die 
Zuordnungen, so dass die Gesamtkosten minimal sind. 
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Das gewählte Distanzmaß muss für alle Kombinationen aus Messungen und 
den aktuellen Prädiktionen der Tracks berechnet werden, wodurch ein hoher 
Rechenaufwand entsteht. In MOT-Systemen wie dem hier beschriebenen wird 
üblicherweise die Mahalanobis Distanz verwendet [Uhl17; Pfal9]. In dieser 
Arbeit wird jedoch aus den folgenden beiden Gründen die Euklidische Distanz 


dP, 3) = S- 45)? + (88 -2,)2 (4.6) 


verwendet. Zum einen ist der Rechenaufwand zur Berechnung der Euklidische 
Distanz im Vergleich zur Mahalanobis Distanz geringer. Zum anderen erleich- 
tert die Verwendung der Euklidische Distanz die Parametrisierung des Systems 
und die Interpretation von (Zwischen-)Ergebnissen des MOT. Nachteilig ist, 
dass durch Nichtbeachtung der Kovarianzen fiir die Distanzberechnungen x 
und y-Komponenten gleichwertig sind, auch wenn die Varianz in eine Bewe- 
gungskomponente stärker ausgeprägt ist. 


Die im weiteren Verlauf vorgestellten und umgesetzten Algorithmen sehen 
zudem eine für eine Zuordnung maximal zulässige Distanz 9, vor. Hierdurch 
werden unplausible Zuordnungen unterbunden. Löst der eingesetzte Algorith- 
mus ein Minimierungsproblem, werden in der Kostenmatrix vorkommende 
Distanzen, welche diesen Wert überschreiten, auf das numerische Maximum 
des verwendeten Datentyps gesetzt. Wird hingegen ein Maximierungsproblem 
gelöst, ergeben sich die Nutzen aus 


ai j = da — min {04, d(&P,2)}, (4.7) 
werden also bei Überschreitung auf null gesetzt. 


Im Kontext der sensorgestützten Schüttgutsortierung muss zudem beachtet 
werden, dass in jedem Zeitschritt neue Objekte den Sichtbereich der Kamera 
betreten sowie auch wieder verlassen können. Die Kosten- bzw. Nutzenmatrix 
muss daher eine Möglichkeit bieten, dass Messungen einem neuen Track zuge- 
wiesen werden können. Zudem muss es möglich sein, dass einem bestehenden 
Track keine Messung zugeordnet wird. Hierzu wird die Matrix um zusätzliche 
Zeilen und Spalten erweitert, wobei die zusätzlichen Zeilen eine Zuweisung 
von Messungen zu neuen Tracks und die zusätzlichen Spalten den Fall, dass 
keine Messung dem Track zugeordnet wurde, repräsentieren. Die neu ent- 
standenen Einträge der Matrix können entweder mit einer Konstanten besetzt 
oder unter Berücksichtigung des Kontexts gewählt werden. Im weiteren Ver- 
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Messungen 


d(x?! 4!) sos d(x?! 2”) 


Prädiktionen 


dp", 2!) aa dp", 2”) 


Abbildung 4.10: Schematische Darstellung der Datenbasis zur Lösung des Zuordnungsproblems, 
hier als Kostenmatrix für ein Minimierungsproblem. 


lauf wird ersteres genutzt. Ein Ansatz, welcher anhand der aktuellen Position 
die Wahrscheinlichkeit eines Erscheinens bzw. Verlassens des Sichtbereichs 
berücksichtigt, ist in [Pfa+16b] beschrieben. 


Für Trackingverfahren mit harten Assoziationsentscheidungen, wie in diesem 
Kontext umgesetzt, werden üblicherweise Local Nearest Neighbour (LNN) 
oder Global Nearest Neighbour (GNN) Algorithmen für die Lösung des Zu- 
ordnungsproblems eingesetzt [Bla+99, Kap. 6]. Bei der Lösung mittels LNN 
werden die Tracks (oder alternativ Messungen) der Reihe nach betrachtet und 
der Messung (oder alternativ dem Track) zugeordnet, für welche die Kos- 
ten, d.h. die Distanz, minimal ist. Diese Lösung fällt in die vergleichsweise 
niedrige Komplexitätsklasse O(N?). Die Qualität des Ergebnisses ist jedoch 
häufig schlecht, da durch die Abhängigkeit der Reihenfolge, in welcher die 
Tracks (oder alternativ Messungen) betrachtet werden, lediglich eine lokal und 
nicht global optimale Zuordnung durchgeführt werden kann. Diese Problema- 
tik besteht bei der Lösung mittels GNN nicht, wodurch i.d.R. eine höhere 
Ergebnisqualität erzielt wird. Eine umfangreiche Übersicht über mögliche Lö- 
ser ist in [Del+00] zu finden. Zu den bekanntesten Vertretern gehören die im 
Folgenden kurz erläuterten Algorithmen, welche zusätzlich zu einem LNN 
Algorithmus für das Trackingverfahren implementiert werden. 


Die Ungarische Methode bietet in ihrer ursprünglichen Form eine optimale 
Lösung des Zuordnungsproblems in O(N*). Der Algorithmus ist in [Kuh55] 
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detailliert beschrieben. Durch eine Weiterentwicklung konnte die theoretische 
Komplexität auf O(N?) reduziert werden [Mun57]. In dieser Variante wird das 
Verfahren auch als Munkres Algorithmus bezeichnet und entspricht der in dem 
Kontext dieser Arbeit implementierten Variante. Beide Algorithmen ermitteln 
die global optimale Lösung des Problems. 


Ein weiterer populärer Löser ist der nach seinen Autoren benannte Jonker- 
Volgenant Algorithmus, welcher auch unter dem Kürzel LAPJV bekannt ist. 
Der Algorithmus inkl. Pascal Code ist in [Jon+87] detailliert beschrieben. 
Obwohl die theoretische Komplexität mit O(N*) in der gleichen Klasse wie 
die Ungarischen Methode in der Variante von Munkres Algorithmus liegt, 
wird häufig von kürzeren Laufzeiten berichtet. LAPJV garantiert ebenfalls die 
global optimale Lösung des Problems. 


Der Auktionsalgorithmus [Ber88] stellt eine weitere Alternative zur Lösung des 
Zuordnungsproblems dar. Wie der Name bereits andeutet, werden die Zuord- 
nungen durch die Simulation einer Auktion ermittelt. Obwohl der Algorithmus 
in seiner ursprünglichen Form zur Lösung eines Maximierungsproblems ver- 
wendet wird, kann er, z.B. durch Negierung der Kostenfunktion, einfach auf 
ein Minimierungsproblem angewandt werden. Der grundlegende Ablauf ist 
in Abbildung 4.11 dargestellt. Es konkurrieren N-Personen um M-Objekte, 
indem sie für die Objekte bieten. Der Algorithmus setzt voraus, dass M > N 
zutrifft. Wann immer dies nicht der Fall ist, werden die jeweiligen Mengen ver- 
tauscht. Während der Bieten-Phase ermittelt jede Person das Objekt, welches 
für sie selbst den maximalen Nutzen 


Ji € argmax {a;,; — pj} (4.8) 
j 


bietet, wobei p; den Preis von Objekt j und a;,; den Nutzen des Objekts j 
für Person i bezeichnet. In Abgrenzung zu der ursprünglichen Formulierung 
ist hier zu beachten, dass a; ; einen Nutzen anstelle von Kosten beschreibt, 
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wodurch das Minimierungs- zu einem Maximierungsproblem umformuliert 
wird. Wurde j; ermittelt, berechnet sich das Gebot y; der Person anhand von 


Yi =Vi-wi+te mit 
Vi = nr {aij = Pi} r 
(4.9) 
wi = max {4i j- pj} , 
JFJi 
e>0O, 


wobei v; den höchsten und w; den zweithöchsten existierenden Objektwert 
darstellen. Aus Gleichung (4.9) ergibt sich, dass y; > O gilt. Ohne e gäbe 
es Fälle, in welchen y; = 0 möglich wäre, was zur Folge hätte, dass der 
Algorithmus nicht terminieren würde. Durch die Erhöhung von y; um e werden 
Zuordnungen zwischen Personen und Objekten ermöglicht, für welche sich die 
eigentliche Differenz aus Nutzen und Kosten um e unterscheidet. Die Menge 
an Personen, welche auf ein Objekt j geboten haben, wird in der Folge durch 
P(j) bezeichnet. Während der Zuordnungs-Phase bestimmt nun jedes Objekt 
J anhand 

i; € argmax yi (4.10) 

ieP(j) 

die Person, welche das höchste Gebot abgegeben hat. Daraufhin wird der Preis 
der Objekts durch p; + y;, aktualisiert. Die aktuelle Zuordnung zwischen 
Objekten und ihren Besitzern sowie der aktuelle Preis kann in einer Nx N 
Matrix abgebildet werden. Der Algorithmus hat eine theoretische Komplexität 
von O(N? log CN), wobei C den maximalen Objektwert 


C = max |aj, ;| (4.11) 
ij 


beschreibt. Der Algorithmus garantiert nur dann eine optimale Lösung, wenn 
e < !/n und a;,; € N gelten [Ber88]. 


Verwaltung der Tracks 


Im Anschluss an die Lösung des Zuordnungsproblems können verschiedene 
Fälle eintreten, welche durch die Trackverwaltung behandelt werden müs- 
sen. Tracks, welchen keine neue Messung zugeordnet wurde, werden als zu 
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Messungen 
Bieten 
Nein 
Ja sa 
Zuordnung }+——< Konvergenz? Terminierung 


Abbildung 4.11: Schematischer Programmablauf des Auktionsalgorithmus. 


löschende Tracks betrachtet. Im Kontext der sensorgestützten Schüttgutsortie- 
rung kann dies beispielsweise eintreten, wenn ein Objekt im Zuge des Trans- 
ports den Sichtbereich der Kamera verlassen hat. Da diese Situation jedoch 
ebenfalls durch Fehler in der Bildauswertung zur Erzeugung der Messungen, 
z. B. durch nicht aufgelöste Objektagglomerate, eintreten kann, werden sol- 
che Tracks im umgesetzten System nicht sofort gelöscht. Stattdessen wird ein 
Scoring-System eingesetzt, welches an das in [Bla+99, Kap. 6] beschriebene 
Confirmation and Deletion System angelehnt ist. Jeder neu erzeugte Track 
wird mit einem initialen Score versehen. Immer wenn eine Messung einem 
Track zugeordnet wird, wird der Score erhöht, bis er einen parametrisierten 
Maximalwert erreicht. Ebenso wird der Score für Zeitschritte verringert, in 
denen dem Track keine Messung zugeordnet wurde. Erst wenn der Wert unter 
null sinkt, wird der Track endgültig gelöscht. Sofern nicht anders angegeben, 
werden im weiteren Verlauf die in Tabelle 4.1 angegebenen Parameter für das 
Scoring-System angewendet. 


Messungen, die keinem Track zugeordnet wurden, werden als neuer Track 
betrachtet. Dies können Objekte sein, die in diesem Zeitschritt in den Sichtbe- 
reich der Kamera eingetreten sind. Die entsprechenden Datenstrukturen werden 
dann im Zuge des Verwaltungsschritts initialisiert. Um dynamische Speicher- 
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Tabelle 4.1: Standardwerte für die Parametrisierung des umgesetzten Scoring-Systems. Durch 
die Wahl eines größeren Werts für die Erhöhung als für die Reduktion wird die 
Bestätigung der Existenz eines Tracks durch die Zuordnung einer neuen Messung 
stärker gewichtet als das Ausbleiben einer Messung in einem Zeitschritt bestraft wird. 


Parameter Standardwert 


Minimal 0 
Maximal 10 
Initial 5 
Erhohung 2 
Reduktion 1 


allokationen zur Laufzeit zu vermeiden, wird äquivalent zu der Darstellung in 
Abschnitt 4.1.2 für die Track-Datenstrukturen eine Speicherverwaltung mittels 
Speicherpools implementiert. Zudem wird, spezifisch für die sensorgestützte 
Schüttgutsortierung, ermittelt, ob ein Track, welcher ein auszuschleusendes 
Objekt verfolgt, weit genug vorangeschritten ist, so dass die entsprechenden 
Ausblasfenster berechnet werden müssen. Hierauf wird in Kapitel 6 detaillier- 
ter eingegangen. 


Realisierung des Dynamikmodells 


Für die Prädiktion muss ein geeignetes Bewegungsmodell für den Filterschritt 
gewählt werden. In dem realisierten System wird hierfür ein constant velo- 
city (CV) Model eingesetzt. Für eine detaillierte Vorstellung verschiedener 
Bewegungsmodelle und deren Güte für ein MOT-System in der sensorgestütz- 
ten Schüttgutsortierung wird auf [Pfa+20; Pfal9] verwiesen. 


Durch das CV-Model ist der Zustandsvektor x; durch 


xX; = 


(4.12) 


Que we 8 
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formuliert, wobei x und y die Kamerakoordinaten des Flächenschwerpunkts 
und x und y die ersten zeitlichen Ableitungen und damit die Geschwindig- 
keiten darstellen. Das Koordinatensystem wird dabei so angenommen, dass 
die y-Achse entlang der Materialförderrichtung und die x-Achse orthogonal 
hierzu ausgelegt sind. Das System wird zeitinvariant modelliert, wodurch die 
Systemmodellierungsmatrizen konstant bleiben!. Da die Messungen 2, welche 
direkt aus den Bilddaten gewonnen werden, lediglich durch die Position, nicht 
aber durch die Geschwindigkeit, beschrieben sind, ist die Beobachtungsmatrix 
H aus Gleichung (4.1) durch 


gaj AL (4.13) 
0100 


gegeben. Die Übergangsmatrix F aus Gleichung (4.2) wird in Form von 


F= (4.14) 


O = O O 
=. N OOO 


1 
0 
0 
0 


modelliert, wobei T den Abstand zwischen zwei Zeitschritten beschreibt. Durch 
äquidistante zeitliche Abstände zwischen einzelnen Kamerabildern, aus wel- 
chen die Messungen gewonnen werden, ergibt sich die konstante Wahl von 
T = 1 in diesem Kontext. 


Für jeden neu entstehenden Track wird eine initiale, vermutete Startgeschwin- 
digkeit parametrisiert. Diese Geschwindigkeit muss aufgabenspezifisch empi- 
risch, z. B. durch Kenntnis über die Geschwindigkeit des Förderbands im Falle 
eines Bandsortierers, bestimmt werden. 


Hinsichtlich des Rechenaufwands des Bewegungsmodells lässt sich aus Ab- 
schnitt 4.2.1 feststellen, dass vorwiegend Vektor-Matrix bzw. Matrix-Matrix 
Additionen, Subtraktionen und Multiplikationen in niedriger Dimensionalität 
durchgeführt werden müssen. Moderne CPUs können derartige Berechnungen 


! Hierdurch entfallen die Zeitindizes t für die entsprechenden Matrizen in Gleichungen (4.1) 
und (4.2). 
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mittels Vektorisierung, z.B. durch den Advanced Vector Extensions (AVX) 
Befehlssatz, effizient ausführen. Um die Laufzeit weiter zu reduzieren wird 
ausgenutzt, dass die Berechnungen zum Bewegungsmodell für jeden Track 
unabhängig erfolgen und somit vollständig zwischen allen bestehenden Tracks 
auf der CPU mittels eigener Threads parallelisiert werden können. 


4.2.3 Resultierender Algorithmus 


Der resultierende Algorithmus der Bildfolgenauswertung für die sensorge- 
stützte Schüttgutsortierung lässt sich wie folgt zusammenfassen: 


1. Bildaufnahme, -vorverarbeitung und Pixelklassifikation entsprechend 
Abschnitt 4.1.1. 


2. Bildauswertung entsprechend Abschnitt 4.1.2: 


e Ermittlung zusammenhängender Regionen entsprechend Algorith- 
mus 1, adaptiert für Flächenbildauswertung und Erweiterung um 
die Bedingung, dass Regionen vollständig im Bild enthalten sein 
müssen. 


Anwendung von Größenfilter und ggf. Objekttrennungsalgorith- 
men. 


Durchführung der Merkmalsberechnung und Klassifikation der zu- 
sammenhängenden Regionen. 


Extraktion der Messungen für das MOT durch Berechnung der 
Flächenschwerpunkte. 


3. Berechnung der Prädiktionen mittels des Bewegungsmodells entspre- 
chend Gleichung (4.2). 


4. Lösen des Zuordnungsproblems entsprechend Abschnitt 4.2.2: 


e Berechnung der Kosten- bzw. Nutzenmatrix, wie in Abbildung 4.10 
dargestellt. 
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e Ermittlung der Zuordnung zwischen Messungen und Prädiktio- 
nen (und somit bestehenden Tracks) mittels eines der vorgestellten 
Algorithmen. 


5. Durchführung der Trackverwaltung entsprechend Abschnitt 4.2.2: 


e Initialisierung neuer Tracks für nicht zugeordnete Messungen. 
e Update des Scoring-Systems. 


e Löschen von Tracks, für welche der Score auf null gesetzt wurde. 


6. Durchführung des Korrekturschritts entsprechend Gleichung (4.1). 


7. Klassifikation der Tracks unter Berücksichtigung aller zugeordneten Be- 
obachtungen (siehe Kapitel 7). 


8. Ermittlung der Tracks, für welche eine Düsenansteuerung berechnet 
werden soll (siehe Kapitel 6). 


4.3 Entwicklung echtzeitfahiger Lösungen für 
das Zuordnungsproblem 


Bei der sensorgestützten Sortierung muss durch die Datenauswertung eine 
feste Echtzeitbedingung eingehalten werden, um eine sichere Ausschleusung 
auszusortierender Objekte zu gewährleisten (siehe Abschnitt 2.2.3). Diese An- 
forderung gilt daher auch für das MOT. In Abschnitt 4.2.1 wurde dargelegt, dass 
von allen Bestandteilen das Lösen des Zuordnungsproblems in der höchsten 
Komplexitätsklasse liegt. Im Folgenden wird daher untersucht, ob die in Ab- 
schnitt 4.2.2 vorgestellten und umgesetzten konventionellen Algorithmen vor 
dem Hintergrund der resultierenden Laufzeit und Ergebnisqualität für einen 
Einsatz in Frage kommen. 
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4.3.1 Vorstellung der Datensätze zur Bewertung der 
Algorithmen zur Lösung des Zuordnungsproblems 


Für die experimentelle Validierung werden vier Datensätze verwendet. Diese 
stammen aus einer partikelbasierten Simulation eines sensorgestützten Sortier- 
systems [Pie+16b], siehe Abbildung 4.12. Die numerische Simulation beruht 
auf der Diskrete Elemente Methode (DEM), durch welche Partikel-Partikel 
und Partikel-Wand Interaktionen akkurat modelliert werden können. 


Die DEM wurde 1979 erstmalig vorgestellt [Cun+79] und findet seither in 
verschiedensten Anwendungsbereichen im Zusammenhang mit körnigen Ma- 
terialien Anwendung. Um die genaue Translations- und Rotationsbewegung 
jedes Teilchens in einem vordefinierten Zeitschritt zu berechnen, werden die 
Newton- und Eulerschen Bewegungsgleichungen 


dx; 
i — _ FC 4 FS ; 4.15 
ý dt? : ! 15) 
i +W; x (/;W,) = A7'M; (4.16) 


verwendet. In der Translationsgleichung 4.15 wird die Masse des Partikels m; 

multipliziert mit der Partikelbeschleunigung 
dxi 
dt? 


(4.17) 


der Summe der Kontaktkräfte F und der Anziehungskraft F? gleichgesetzt. 
Durch Gleichung (4.16) wird die Winkelbeschleunigung 


dW; 
es (4.18) 
als Funktion der Winkelgeschwindigkeit W;, dem externen Trägheitsmoment 
resultierend aus den Kontaktkräften M;, dem Trägheitstensor entlang der 
Hauptachse /;, sowie der Rotationsmatrix AS ausgedriickt. Die Kontaktkrafte 
zwischen den Partikeln und zwischen Partikeln und Wänden werden in eine 
normale und eine tangentiale Komponente aufgeteilt. Die Normalkomponente 
wird mit einem linearen Feder-Dämpfer-Modell und die tangentiale Kontakt- 
kraft mit einer durch die Coulomb-Bedingung begrenzten linearen Feder be- 
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Abbildung 4.12: Visualisierung des simulierten Sortiersystems. 


rechnet. Zusätzlich wird auch die Rollreibung der kugelförmigen Partikel in 
das resultierende externe Moment einbezogen. 


Die Modellierung des simulierten Sortiersystems basiert auf den CAD-Kon- 
struktionsdaten des in Abschnitt 3.1 vorgestellten Referenzsortiersystems. Das 
simulierte Förderband läuft mit einer Geschwindigkeit von 1,5 ms! und hat 
eine Breite von 180 mm. Bei den simulierten Objekten handelt es sich um 
Modellkörper, genauer gesagt Kugeln mit einem Durchmesser von 2,5 mm 
und alternativ 5 mm, Zylinder von 3 mm x 9 mm, sowie Plättchen mit den Ab- 
messungen 2mm x 5mm x 6mm. Für die Simulation relevante mechanische 
Eigenschaften sind in [Pie+16b] zu finden. Um die Simulation darüber hin- 
aus zu validieren, wurden diverse Experimente zum Abgleich zwischen realen 
Experimenten und simulativ erhobenen Daten durchgeführt. Hierzu wurden di- 
verse Kenngrößen, z. B. Massenströme, Transportgeschwindigkeiten und auch 
Druckluftströmungsfelder, experimentell untersucht und Rückschlüsse auf kor- 
respondierende Simulationsparameter gezogen. Für eine detaillierte Beschrei- 
bung der Untersuchungen wird an dieser Stelle auf [Pie+16b; Pie+16a; Pie+17; 
Pie+18] verwiesen. 


Zur Erzeugung der Datensätze wurden Sortierdurchläufe mit der in Tabel- 
le 4.2 genannten Anzahl an Objekten simuliert. Der jeweils aufgeführte Name 
entspricht den simulierten Modellkörpern, der Datensatz Gemischt beinhaltet 
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Tabelle 4.2: Quantitative Zusammenfassung der Datensätze zur Laufzeitanalyse der Verfahren 
zum Lösen des Zuordnungsproblems. 


Name Samplingrate Anzahl Messungen Anzahl Objekte 


Zylinder 200 Hz 293.414 4.412 
Gemischt 100Hz 124.546 3.599 
Kugeln 1 100 Hz 392.066 12.134 
Kugeln 2 100 Hz 959.425 29.693 


Kugeln und Plättchen. Die Objekte in Kugeln 1 haben einen Durchmesser von 
5mm und in Kugeln 2 von 2,5 mm. Entsprechend den in Tabelle 4.2 ange- 
gebenen Samplingraten werden in diskreten Zeitschritten Informationen über 
alle Objekte, welche sich im Blickfeld einer virtuellen Kamera befinden, wäh- 
rend der Simulation abgespeichert. Hierzu zählen u.a. die Objektpositionen 
sowie eindeutige Objektbezeichnungen. Die zeitlichen Verläufe der Anzahl an 
Objekten im Blickfeld der virtuellen Kamera während der simulierten Sortier- 
durchläufe sind in Abbildung 4.13 dargestellt. 


Die Datensätze unterscheiden sich somit sowohl in der Anzahl enthaltener 
Objekte als auch der Anzahl an Messungen pro Zeitschritt. Dies führt zu 
unterschiedlichen Problemgrößen, die beim Lösen des Zuordnungsproblems 
berücksichtigt werden müssen. Ein großer Vorteil bei der Verwendung von 
Datensätzen aus der Simulation im Vergleich zu realen Kameradaten ist, dass 
eine Ground Truth, also Informationen, von denen bekannt ist, dass sie wahr 
sind, vorhanden ist, da die eindeutige Objektbezeichnung ebenfalls gespeichert 
wird. 


4.3.2 Feststellung der Leistungsfähigkeit der 
konventionellen Algorithmen 


Um die Eignung der in Abschnitt 4.2.2 vorgestellten konventionellen Algorith- 
men für den Einsatz in der sensorgestützten Schüttgutsortierung zu untersuchen 
wird die Laufzeit und Ergebnisqualität anhand der in Abschnitt 4.3.1 vorgestell- 
ten Datensätze experimentell ermittelt. Hierfür wird für jeden Zeitschritt die 
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Abbildung 4.13: Visuelle Darstellung der in den Datensätzen enthaltenen Anzahl an Messungen 
pro Zeitschritt. 
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Abbildung 4.14: Ermittelte Laufzeiten konventioneller Algorithmen zur Lösung des Zuordnungs- 
problems in Abhängigkeit der Problemgröße für den Datensatz Zylinder. Die 
Problemgröße ist definiert als das Maximum aus Anzahl aktiver Tracks und zu 
verarbeitenden Messungen. 


Laufzeit des MOT sowie der darin enthaltene Anteil, welcher auf die Lösung 
des Zuordnungsproblems entfällt, gespeichert. Zudem werden die ermittelten 
Tracks gespeichert und mit der Ground Truth verglichen. Als Löser werden 
ein LNN Algorithmus sowie LAPJV als Vertreter für GNN berücksichtigt. Die 
Laufzeiten werden auf einem Computer mit CPU vom Typ Intel i7-7700 und 
16GB Arbeitsspeicher unter Microsoft Windows 10 durchgeführt. 


Visuelle Darstellungen der benötigten Laufzeiten der Algorithmen für einzelne 
Zeitschritte der verschiedenen Datensätze sind in Abbildungen 4.14 bis 4.17 
zu sehen. Da das Maximum aus Anzahl an Messungen und aktiven Tracks 
dominant für die Problemgröße ist, werden die Laufzeiten in Abhängigkeit 
dieses Maximums dargestellt. Die kreisförmigen Marker stellen einzelne er- 
fasste Laufzeiten für einen Zeitschritt dar. Die jeweilige Farbe repräsentiert 
den angegebenen Algorithmus. 


Bei den Datensätzen Gemischt und Zylinder unterscheidet sich die Laufzeit 
der Verfahren nur geringfügig, was auf die vergleichsweise niedrige Anzahl an 
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Abbildung 4.15: Ermittelte Laufzeiten konventioneller Algorithmen zur Lösung des Zuordnungs- 
problems in Abhängigkeit der Problemgröße für den Datensatz Gemischt. Die 
Problemgröße ist definiert als das Maximum aus Anzahl aktiver Tracks und zu 
verarbeitenden Messungen. 


Messungen pro Zeitschritt zurückgeführt werden kann. Bei beiden Kugelda- 
tensätzen, welche deutlich mehr Messungen pro Zeitschritt enthalten, lässt sich 
die höhere Laufzeit sowie der exponentielle Anstieg selbiger des GNN Lösers 
jedoch eindeutig erkennen. Neben diesen vergleichenden Bewertungen lässt 
sich bei Betrachtung der absoluten Laufzeiten feststellen, dass die Verfahren 
nur bedingt für den Einsatz in der sensorgestützten Schüttgutsortierung geeig- 
net sind. Ausgehend von einer beispielhaften Bildwiederholrate von 100 fps 
stünden der gesamten Verarbeitung im Mittel lediglich 10 ms pro Bild zur 
Verfügung. Anhand von Abbildungen 4.16 und 4.17 wird deutlich, dass dieser 
Wert bereits von dem entsprechenden Löser bei weniger als 300 Messungen 
pro Bild überschritten wird. Für den realen Einsatz muss zudem noch weitere 
Laufzeit für die Bildauswertung eingeplant werden. Die Verfahren sind somit 
lediglich für die Verfolgung von vergleichsweise wenigen Objekten geeignet, 
wodurch eine wirtschaftlich attraktive Sortiersystemauslegung nicht möglich 
ist. 
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Abbildung 4.16: Ermittelte Laufzeiten konventioneller Algorithmen zur Lösung des Zuordnungs- 
problems in Abhängigkeit der Problemgröße für den Datensatz Kugeln 1. Die 
Problemgröße ist definiert als das Maximum aus Anzahl aktiver Tracks und zu 
verarbeitenden Messungen. 


Einen Vergleich der Qualität der Objektverfolgung ermöglicht Tabelle 4.3. Als 
Bewertungskriterium wird der Anteil der Tracks ermittelt, welche exakt der 
tatsächlichen Trajektorie eines Objekts gemäß der Ground Truth entsprechen. 
Es ist eindeutig zu erkennen, dass der GNN Löser für alle Datensätze über 
99% korrekte Tracks generiert, während die Qualität des LNN Algorithmus 
deutlich schlechter ausfällt. Ebenfalls ist die Tendenz erkennbar, dass das Zu- 
ordnungsproblem mit steigender Anzahl zu verfolgender Objekte schwieriger 
wird, was insbesondere auf die beiden Kugel Datensätze zutrifft. 


In Tabelle 4.3 ist ebenfalls der Anteil der Laufzeit des MOT eingetragen, 
welcher auf die Lösung des Zuordnungsproblems entfällt. Es ist eindeutig 
ersichtlich, dass eine Reduktion der Laufzeit des MOT vorrangig durch die 
Entwicklung beschleunigter Löser für das Zuordnungsproblem erzielt werden 
kann. Im Folgenden werden zwei im Rahmen dieser Arbeit hierfür entwickelte 
Verfahren vorgestellt. 
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Abbildung 4.17: Ermittelte Laufzeiten konventioneller Algorithmen zur Lösung des Zuordnungs- 


problems in Abhängigkeit der Problemgröße für den Datensatz Kugeln 2. Die 
Problemgröße ist definiert als das Maximum aus Anzahl aktiver Tracks und zu 
verarbeitenden Messungen. 


Tabelle 4.3: Erzielte Ergebnisqualität der unterschiedlicher Löser für die einzelnen Datensätze 


100 


und Anteil der Laufzeit des MOT, welcher auf die Lösung des Zuordnungsproblems 
entfällt. 


Datensatz Algorithmus Korrekte Tracks Anteil Laufzeit 


: LNN 52, 9% 84, 1% 
Zylinder 
LAPJV 100, 0% 85, 2% 
. LNN 59, 9% 82, 4% 
Gemischt 
LAPJV 99, 8% 84, 0% 
LNN 16, 4% 95, 6% 
Kugeln 1 
LAPJV 99, 1% 96, 9%o 
LNN 10, 7% 96, 5%o 
Kugeln 2 
LAPJV 99, 9% 97,9% 


4.3 Entwicklung echtzeitfähiger Lösungen für das Zuordnungsproblem 


4.3.3 Adaptive Algorithmenauswahl zur Laufzeit zur 
Lösung des Zuordnungsproblems 


Aus Abschnitt 4.3.2 wird deutlich, dass die Wahl des Lösers für das Zuord- 
nungsproblem starken Einfluss auf die benötigte Laufzeit sowie die Ergeb- 
nisqualität hat. Hierbei handelt es sich um konkurrierende Optimierungsziele, 
welche durch die Wahl des Algorithmus gegeneinander abgewägt werden kön- 
nen. Um mehr Flexibilität hinsichtlich dieser Abwägung zu erlangen, wird ein 
Verfahren entwickelt, welches eine adaptive Algorithmenauswahl für jedes 
zu verarbeitende Bild ermöglicht [Mai+16b]. Hierbei wird ausgenutzt, dass 
alle Algorithmen auf Basis der gleichen Datenstruktur, nämlich der in Ab- 
schnitt 4.2.2 eingeführten Kostenmatrix, arbeiten. Hierdurch kann für jeden 
Zeitschritt individuell entschieden werden, welcher Algorithmus eingesetzt 
werden soll. 


Eine schematische Darstellung des Verfahrens ist in Abbildung 4.18 zu se- 
hen. Die Kernidee des Ansatzes ist es, für jedes zu verarbeitende Bild die 
anfallende Rechenlast einzuschätzen und daraus mittels einer Entscheidungs- 
funktion den passendsten Löser auszuwählen. Der Ansatz ist somit an das aus 
der Softwareentwicklung bekannte Strategie-Entwurfsmuster [Gam+94, Kap. 
5], bei welchem zur Laufzeit kontextabhängig eine Auswahl aus einer Familie 
von Algorithmen getroffen wird, angelehnt. Im hiesigen Kontext kommt dies 
der Auswahl eines der in Abschnitt 4.2.2 vorgestellten Algorithmen aus der 
Familie der Löser des Zuordnungsproblems zur Laufzeit gleich. 


Da die Laufzeit der Löser von der Anzahl an Messungen und aktiven Tracks 
abhängig ist, wird die Entscheidungsfunktion als Schwellenwert bzgl. deren 
Anzahl realisiert. Dies ermöglicht es, bis zu einer gewissen Anzahl an Messun- 
gen und aktiven Tracks pro Bild einen GNN-Löser mit erhöhter Laufzeit und 
hoher Ergebnisqualität einzusetzen und bei Überschreitung des Schwellenwerts 
auf LNN mit reduzierter Laufzeit unter Tolerierung potentiell erhöhter Zuord- 
nungsfehler zurückzugreifen. Hierdurch kann die Gefahr der Überschreitung 
einer bestimmten Laufzeit reduziert und somit die Einhaltung der festen Echt- 
zeitbedingung in der sensorgestützten Schüttgutsortierung unterstützt werden. 


Im Folgenden wird das Verfahren aufbauend auf den Versuchen aus Ab- 
schnitt 4.3.2 experimentell untersucht. Hierfür wird für die verschiedenen 
Datensätze zunächst ein exemplarischer Schwellenwert festgelegt und dessen 
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Abbildung 4.18: Schematische Darstellung der Architektur des entwickelten Strategie-Systems 
zur Einhaltung der Echtzeitbedingung für das Zuordnungsproblem. 


Auswirkung auf die Laufzeiten betrachtet. Der jeweils untersuchte Schwellen- 
wert ergibt sich aus der Hälfte der maximal auftretenden Problemgröße des 
jeweiligen Datensatzes. Sofern ein Bild weniger als die genannten Messungen 
enthält und ebenfalls gerade weniger Tracks aktiv sind, wird LAPJV zum Lö- 
sen des Zuordnungsproblems verwendet. Treten mehr Messungen oder aktive 
Tracks auf, wird stattdessen auf LNN zurückgegriffen. 


Die resultierenden Laufzeiten sind in Abbildungen 4.19 bis 4.22 visuell dar- 
gestellt, die Notation entspricht jener aus Abbildungen 4.14 bis 4.17. Bei 
vergleichender Betrachtung, insbesondere der Datensätze Kugeln 1 und Ku- 
geln 2, lässt sich feststellen, dass es durch den Einsatz von LNN bei hoher 
Aktivität möglich ist, von den kürzeren Laufzeiten im Vergleich zu LAPJV zu 
profitieren und somit mehr Kontrolle zur Einhaltung der Echtzeitschranken zu 
erlangen. 


Neben dieser auf die Laufzeit beschränkten Untersuchung wird im Folgen- 
den der Zusammenhang zwischen Schwellenwert, resultierender Laufzeit und 
Ergebnisqualität betrachtet. Hierzu wird die Menge an plausiblen Schwellen- 
werten in Schritten von 25 für die Datensätze Zylinder und Gemischt sowie in 
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Abbildung 4.19: Algorithmenwechsel bei 50 % der maximalen Problemgröße für den Datensatz 
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Abbildung 4.20: Algorithmenwechsel bei 50 % der maximalen Problemgröße für den Datensatz 
Gemischt. 
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Abbildung 4.21: Algorithmenwechsel bei 50 % der maximalen Problemgröße für den Datensatz 
Kugeln 1. 
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Abbildung 4.22: Algorithmenwechsel bei 50 % der maximalen Problemgröße für den Datensatz 
Kugeln 2. 
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Schritten von 50 für die Datensätze Kugeln I und Kugeln 2 abgetastet und die 
entsprechenden Laufzeiten und Ergebnisqualitäten ermittelt. Die Ergebnisse 
sind in Abbildungen 4.23 bis 4.26 visualisiert. 


Bei der Analyse der Entwicklung der Ergebnisqualität fällt auf, dass in der 
unteren Hälfte der betrachteten Schwellenwerte nur eine geringe Verbesserung 
des Ergebnisses zu beobachten ist. In der oberen Hälfte hingegen steigt die 
Ergebnisqualität für alle Datensätze mit exponentiellem Charakter an. Ähnli- 
ches gilt für die ermittelten Laufzeiten für die aufgrund der deutlich höheren 
Anzahl an enthaltenen Objekten anspruchsvolleren Datensätze Kugeln I und 
Kugeln 2, für welche ebenfalls kaum Veränderung für die untere Hälfte der 
betrachteten Schwellenwerte, jedoch ein starker Anstieg in der oberen Hälfte 
zu erkennen ist. Für die Datensätze mit geringer Anzahl an Objekten Zylinder 
und Gemischt lassen sich lediglich geringe Unterschiede in den ermittelten 
Laufzeiten beobachten. 


Besonders auffällig ist, dass, nach zunächst starkem Anstieg, bei der Wahl ei- 
nes Schwellenwertes, bei welchem ausschließlich LAPJV aktiv ist, wieder eine 
Reduktion der benötigten Laufzeiten stattfindet. Eine Erklärung hierfür liefert 
die Analyse der Anzahl der erzeugten Tracks für die jeweiligen Konfiguratio- 
nen. Dies wird nun beispielhaft anhand des Datensatzes Kugeln 2 erläutert. 
Der Datensatz enthält 29.693 Objekte (vergleiche Tabelle 4.2). Eine notwen- 
dige Bedingung für eine vollständig korrekte Objektverfolgung ist daher die 
Erzeugung genau dieser Anzahl an Tracks. Bei ausschließlichem Einsatz von 
LAPJV wird dies mit 99,9% fast erreicht (vergleiche Tabelle 4.3). Bei der 
Wahl des Schwellenwerts 1400 kommt, insbesondere für die herausfordernds- 
ten Zeitschritte, LNN zum Einsatz. Insgesamt werden 35.311 Tracks ermittelt. 
Für den Schwellenwert 1450, bei welchem ausschließlich LAPJV zum Einsatz 
kommt, werden jedoch exakt 29.693 Tracks erzeugt. Der geringe Fehleranteil 
rührt daher von Falschzuordnungen von Messungen zu bestehenden Tracks. Im 
Gegensatz zu der Konfiguration mit Schwellenwert 1400 werden jedoch keine 
zusätzlichen Tracks fälschlicherweise erzeugt. Dadurch wird die Problemgröße 
des Zuordnungsproblems kleiner gehalten, was schlussendlich in geringeren 
Laufzeiten resultiert. 


Aus der vorgestellten Untersuchung wird deutlich, dass das entwickelte Ver- 
fahren einen neuen Parameter zur Steuerung der Abwägung zwischen Laufzeit 
und Ergebnisqualität bietet. Im Hinblick auf die exemplarisch untersuchten 
Datensätze lässt sich jedoch auch feststellen, dass weder die Laufzeit noch die 
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Abbildung 4.23: Laufzeit und Ergebnisqualität in Abhängigkeit des Schwellenwerts für den Da- 
1.04 
80 
0.8 
6 
0.6 


tensatz Zylinder. 
0.0 


0.4 4 
0.2 
100 200 100 200 
Schwellenwert Schwellenwert 


=) 


Anteil korrekter Tracks in Prozent 


=} 


Durchschnittliche Laufzeit pro Zeitschritt in Millisekunden 


o 


Abbildung 4.24: Laufzeit und Ergebnisqualität in Abhängigkeit des Schwellenwerts für den Da- 
tensatz Gemischt. 
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Abbildung 4.25: Laufzeit und Ergebnisqualität in Abhängigkeit des Schwellenwerts für den Da- 
tensatz Kugeln 1. 
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Abbildung 4.26: Laufzeit und Ergebnisqualität in Abhängigkeit des Schwellenwerts für den Da- 
tensatz Kugeln 2. 
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Ergebnisqualität bei Erhöhung des Schwellenwertes monoton steigt, wodurch 
die Auswahl des Designparameters des Verfahrens, also des Schwellenwerts, 
schwierig wird. Zudem besteht unverändert die Erkenntnis, dass die absoluten 
Laufzeiten bei für die sensorgestützte Schüttgutsortierung wirtschaftlich re- 
levanten Problemgrößen, welche vorrangig in den Datensätzen Kugeln I und 
Kugeln 2 vorkommen, zu hoch für den praxistauglichen Einsatz sind. Daher 
besteht die Notwendigkeit nach optimierten Implementierungen sowie der Er- 
tüchtigung von Algorithmen für die Ausführung auf Beschleuniger-Hardware 
zu forschen. 


4.3.4 Adaption und Realisierung des Auktionsalgorithmus 
für den Einsatz auf einer GPU zur Lösung des 
Zuordnungsproblems 


Die Verwendung paralleler Algorithmen ist eine etablierte Methode zur Leis- 
tungssteigerung in Systemen, die an Echtzeitbeschränkungen gebunden sind. In 
Abschnitt 4.1 sowie Abschnitt 4.2.2 wurden bereits Möglichkeiten der Paralleli- 
sierung für die Beschleunigung der Bildauswertung bzw. der Berechnung des 
Dynamikmodells angesprochen und umgesetzt. Grundvoraussetzung für die 
Parallelisierbarkeit ist, dass durch den Algorithmus vorgesehene Rechenope- 
rationen unabhängig voneinander nebenläufig ausgeführt werden können, also 
nicht in Abhängigkeit stehen und in streng sequentieller Reihenfolge durchge- 
führt werden müssen. 


Moderne CPU-Architekturen ermöglichen zu diesem Zeitpunkt die parallele 
Ausführung von Rechenoperationen im unteren zweistelligen Bereich. Weist 
ein Algorithmus einen deutlich höheren Grad an nebenläufig ausführbaren 
Rechenschritten auf, kann dies durch die Verwendung massiv parallel arbei- 
tender Beschleunigerhardware, z.B. Grafikprozessoren (GPU) oder FPGAs, 
ausgenutzt werden. Dies erfordert jedoch eine Implementierung unter einer 
entsprechenden Programmiertechnik. Die bekanntesten Vertreter für GPUs 
sind CUDA (Compute Unified Device Architecture), welche eine Umsetzung 
exklusiv für Hardware der Firma NVIDIA ermöglicht, und OpenCL (Open 
Computing Language), welche eine Schnittstelle zu einer deutlich größeren 
Bandbreite an Hardware, neben GPUs auch für einige FPGAs, bietet. 
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Hinsichtlich der Lösung des Zuordnungsproblems zeichnen sich insbeson- 
dere die Ungarische Methode [Kuh55; Mun57] und der Auktionsalgorith- 
mus [Ber88] als massiv parallelisierbare Vertreter aus. In [Dat+16] wird ei- 
ne stark parallelisierte Variante der Ungarischen Methode zur Ausführung 
auf einem GPU-Cluster vorgestellt. Der vorgestellte Algorithmus wurde unter 
Verwendung der CUDA-Programmiertechnik entwickelt und kann auf einem 
GPU-Cluster bestehend aus bis zu 16 NVIDIA GPUs ausgeführt werden. Eine 
Umsetzung des Auktionsalgorithmus für eine GPU wird in [Vas+09] vorge- 
stellt. Die Autoren argumentieren, dass der Algorithmus im Vergleich zur 
Ungarischen Methode besser für die Parallelisierung geeignet ist, da die Unga- 
rische Methode mehrere Synchronisationspunkte benötigt. Der Auktionsalgo- 
rithmus andererseits repräsentiert eine verteilte Splitting-Methode (distributed 
relaxation method, [Ber92]) und ist somit besser für eine massive Paralleli- 
sierung geeignet. Die Umsetzung erfolgt ebenfalls mittels CUDA. Die vorge- 
schlagene Implementierung wird experimentell evaluiert und mit einer sequen- 
tiellen CPU-Implementierung anhand einer klassischen Computer Vision Auf- 
gabe, dem Korrespondenz-Matching von 3D-Punkten, verglichen. In [Vas+11] 
stellen die Autoren weitere Verbesserungen der Implementierung vor. Durch 
Aufspaltung der Gebotsmatrix in zwei eindimensionale Arrays, von denen das 
eine die Objektpreise und das andere die Gebote enthält, erreichen sie eine 
Senkung des Speicherbedarfs. Die vorgestellten Ergebnisse zeigen, dass ins- 
besondere Probleme mit großen Datenmengen von dem Ansatz profitieren. 
Eine Umsetzung des Auktionsalgorithmus auf einem FPGA wird in [Zhu+12] 
vorgestellt. Die Autoren vergleichen ihre experimentellen Ergebnisse mit je- 
nen aus [Vas+09] und geben eine bis zu zehnfach schnellere Ausführung für 
bestimmte Problemgrößen an. 


Für die sensorgestützte Schüttgutsortierung stellt die Umsetzung auf einer 
GPU eine besonders vielversprechende Option dar. Hierfür gibt es zwei Grün- 
de. Zum einen sind die eingesetzten PC Systeme i.d.R. ohnehin mit einer 
GPU ausgestattet, um eine Visualisierung bzw. Anzeige der Sortierergebnisse 
und der Sortierparameter auf einem Bildschirm zu ermöglichen. Diese kann 
entweder als dedizierte Hardware oder in Form einer, typischerweise leis- 
tungsschwächeren, integrierten GPU auf dem Mainboard oder der CPU zur 
Verfügung stehen. Zum anderen bietet sich der Einsatz einer GPU auch für 
viele Bildauswertealgorithmen und damit den Kern der Datenauswertung in 
der sensorgestützten Schüttgutsortierung an. 
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Im Folgenden wird daher eine auf [| Vas+09] aufbauende Weiterentwicklung des 
Auktionsalgorithmus für eine GPU vorgestellt [Wag16; Mai+19b]. Diese be- 
inhaltet zwei wesentliche Verbesserungen, welche die Ausführung unter kurzen 
Laufzeiten auf einer GPU zusätzlich unterstützen ohne die Komplexitätsklasse 
zu reduzieren. Neben einer auf [Vas+09] aufbauenden Implementierung unter 
CUDA und somit der Verwendung dedizierter NVIDIA GPUs wird zudem das 
Laufzeitverhalten auf einer integrierten GPU experimentell evaluiert. Da es 
sich bei den betrachteten integrierten GPUs nicht um NVIDIA Hardware han- 
delt, erfolgt eine zusätzliche Implementierung unter OpenCL. Dies ermöglicht 
ebenfalls einen Vergleich der beiden Programmiertechniken für die gestellte 
Aufgabe. Bei den Umsetzungen werden jeweils im Wesentlichen zwei Kernels, 
einer für die Bieten Phase und einer für die Zuordnung Phase, realisiert. Ein 
dritter Kernel bündelt die beiden zuvor genannten sowie den Konvergenz-Test. 


Abbildung der Gebotsmatrix in einem 1D Array 


Die erste Weiterentwicklung bezieht sich auf die Datenstruktur zur Repräsen- 
tation der Gebotsmatrix. Hierbei wird die Gebotsmatrix durch ein einzelnes 1D 
Array repräsentiert. Im Vergleich zu der Verwendung von zwei 1D Arrays, wie 
in [Vas+11] vorgeschlagen, entfallen hierdurch notwendige, laufzeitintensive 
Synchronisationsschritte. Zudem wird der Speicherbedarf weiter gesenkt, was 
sich positiv auf die für Speichertransfers notwendigen Laufzeiten auswirkt. Im 
Jargon des Auktionsalgorithmus ausgedrückt wird hierfür das aktuelle Gebot 
sowie die derzeit höchstbietende Person, dargestellt durch eine ID, in einem 
einzigen Wert kodiert. Die höherwertigen Bits beinhalten dabei das derzeitige 
Gebot in Form einer kontextabhängigen Festkommazahl, die niederwertigen 
Bits entsprechen der ID der bietenden Person, siehe Abbildung 4.27. Durch 
die gewählte Repräsentation wird die Verwendung nativ atomarer Funktionen 
zur Aktualisierung eines Wertes ermöglicht, z. B. durch Verwendung der ato- 
maren Maximumsfunktion. Im Falle von zwei Personen, die das gleiche Gebot 
abgeben, gewinnt in der Konsequenz die Person mit der höheren ID. 


Da nur noch eine begrenzte Anzahl an Bits für die Darstellung des Gebots 
zur Verfügung steht, wird eine obere Schranke für die Gebotserhöhung defi- 
niert. Hierzu wird ein Skalierungsfaktor K in Abhängigkeit von dmax (siehe 
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4.3 Entwicklung echtzeitfähiger Lösungen für das Zuordnungsproblem 


Bit 31 Bit 11 Bit 0 


Gebot Bieter ID 


Abbildung 4.27: Beispielhafte Partitionierung eines 32-Bit Wertes zur Repräsentation von sowohl 
Gebot als auch Person. 


Abschnitt 4.2.2) bestimmt. Die gesuchte Schranke muss so gewählt werden, 
dass 


is 5 
Yi S Ymax (4.19) 
Ymax := dmax + €, LE [1,..., N] 
gilt. Fiir ein skaliertes Gebot c gilt 
0 <c < K -Ymax = K(dmax + €) , (4.20) 


wobei K so gewählt wird, dass die Anzahl zur Verfügung stehender Bits für 
die Darstellung bei gegebenen dmax und e für c ausreicht. 


Dieser Ansatz ist aus mehreren Gründen vorteilhaft. Erstens wird der Speicher- 
verbrauch und damit die Datenmenge, welche potenziell auf die GPU übertra- 
gen werden muss, erheblich reduziert. In Fällen, in denen N x M gilt, besteht 
die Gebotsmatrix aus N?-Eintrigen. Durch Anwendung der Verbesserungen 
aus [Vas+11], also der Verwendung zweier 1D-Arrays, kann die Anzahl der 
Einträge auf 2N reduziert werden. Die in der vorliegenden Arbeit vorgestellte 
Weiterentwicklung reduziert die Menge des benötigten Speichers jedoch auf 
N. Zweitens erlaubt der vorgestellte Ansatz im Vergleich zu [Vas+11] die Nut- 
zung von atomaren Funktionen. Können diese nicht verwendet werden, müsste 
für zwei Felder, also einem pro Array, ein Mutex eingesetzt werden, um den 
gleichzeitigen Zugriff im Sinne einer Aktualisierung eines Gebots zu unterbin- 
den. Eine Aktualisierung bestände demzufolge aus dem notwendigen Erhalten 
des Mutex, mindestens 2 Lese-/Schreiboperationen, sowie der erneuten Freiga- 
be der Sperre. Der vorgestellte Ansatz benötigt anstelle dessen lediglich einen 
atomaren Funktionsaufruf. Drittens wird die Anzahl an Feldern, welche in den 
einzelnen Auktionsrunden zurückgesetzt werden müssen, reduziert, wodurch 
ebenfalls Laufzeit eingespart wird. 
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Reduktion der Synchronisierungsschritte 


Die zweite Weiterentwicklung bezieht sich auf die Anzahl der notwendigen 
Synchronisierungsschritte zwischen CPU und GPU. Eine Implementierung 
des Auktionsalgorithmus setzt voraus, dass die Bietphase für alle Personen 
abgeschlossen ist, bevor die Zuordnungsphase beginnen kann. Ebenso muss die 
Zuordnungsphase abgeschlossen sein, bevor der Konvergenz-Test durchgeführt 
werden kann. Folglich erfordert dies Synchronisationsschritte zwischen den 
einzelnen Phasen. 


OpenCL ermöglicht die Synchronisierung sogenannter work-items, die Teil 
einer gleichen work-group auf der GPU sind. Dies kann genutzt werden, um 
eine Synchronisierung durch die CPU zu vermeiden. Da die Anzahl möglicher 
work-items sowie work-groups jedoch durch die eingesetzte Hardware limitiert 
ist, muss zur Laufzeit geprüft werden, ob diese Art der Synchronisation genutzt 
werden kann. Bei der Umsetzung mittels CUDA existiert ein entsprechendes 
Pendant. Hier können mehrere Threads teil des selben Blocks sein. 


Untersuchung der Laufzeit der neuen Implementierung 


Im Folgenden werden die Laufzeiten der Umsetzung des Auktionsalgorith- 
mus mit und ohne den vorgestellten Weiterentwicklungen jeweils unter der 
Verwendung von CUDA und OpenCL auf einer dedizierten GPU sowie unter 
Verwendung von OpenCL auf einer integrierten GPU untersucht. Als dedizier- 
te GPU kommt das Modell TitanX von NVIDIA, als integrierte GPU HD530 
von Intel zum Einsatz. Es werden die bereits bekannten Datensätze betrachtet. 


Abbildungen 4.28 bis 4.31 zeigen detaillierte Ergebnisse unter Verwendung 
der dedizierten GPU. In allen Fällen ist die enorme Laufzeitreduktion im Ver- 
gleich zu den in Abschnitt 4.3.2 vorgestellten Ergebnissen der CPU Verfahren 
deutlich zu erkennen. Ebenfalls ist sowohl beim Einsatz von CUDA als auch 
von OpenCL ersichtlich, dass die vorgestellten Weiterentwicklungen im Ver- 
gleich zu einer Referenzimplementierung ohne die Weiterentwicklungen die 
benötigten Laufzeiten nochmals eindeutig reduzieren. Ähnlich wie bei den 
Laufzeitanalysen zwischen LNN und LAPJV stechen hierbei insbesondere die 
anspruchsvolleren Datensätze mit Kugeln hervor. Aus Abbildung 4.31 wird 
beispielsweise ersichtlich, dass selbst bei einem Maximum von etwa 1400 ak- 
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tiven Tracks bzw. Messungen die benötigten Laufzeiten in der Größenordnung 
von 10 ms liegen. Vergleichend liegt LNN hierfür in der Größenordnung von 
100 ms, LAPJV sogar von 200 ms (siehe Abbildung 4.17). 


Insgesamt weist zudem die Implementierung unter CUDA kürzer Laufzei- 
ten im Vergleich zu OpenCL auf, was darauf hinweist, dass die Hardware 
besser ausgenutzt wird. Dafür ist unter Verwendung von OpenCL auch die 
Verwendung einer integrierten GPU möglich. Die Ergebnisse hierfür sind in 
Abbildungen 4.32 bis 4.35 dargestellt. Auch hierbei werden deutlich kürzere 
Laufzeiten im Vergleich zu den CPU Verfahren erzielt und die weitere Verkür- 
zung der Laufzeiten durch die Weiterentwicklung des Auktionsalgorithmus 
ist ebenfalls ersichtlich. In Bezug auf das oben erwähnte Beispiel liegt die 
Laufzeit bei einem Maximum von etwa 1400 aktiven Tracks bzw. Messungen 
in der Größenordnung von 20 ms. Die Nutzung einer integrierten GPU stellt 
somit für Systeme, welche einen eingebetteten Charakter haben und z.B. in 
Leistungsaufnahme und Abwärme beschränkt sind, eine echte Alternative dar. 
Ein zusammenfassender Vergleich aller betrachteten Varianten hinsichtlich der 
Laufzeiten ist in Abbildung 4.36 dargestellt. 


Tabelle 4.4 gibt Auskunft über die entsprechenden erzielten Ergebnisqualitä- 
ten. Die Anteile der korrekten Tracks decken sich dabei im Wesentlichen den 
mit LAPJV erzielten Ergebnissen aus Tabelle 4.3. Die dargestellten Ergeb- 
nisse treffen sowohl auf die Weiterentwicklung als auch auf die Referenzim- 
plementierung zu und sind unabhängig von der Programmiertechnik und der 
ausführenden Hardware. 


4.4 Zusammenfassung und Diskussion der 
Ergebnisse 


In diesem Kapitel wurde die Entwicklung eines echtzeitfähigen Bildfolgenaus- 
wertesystems inklusive MOT für die Gewinnung partikelindividueller Bewe- 
gungstrajektorien aus Bilddaten vorgestellt. Die entwickelte Bildauswertung, 
welche die Aufgaben der Objektextraktion und Objektklassifikation abdeckt, 
eignet sich dabei sowohl für den Einsatz mit Zeilen- als auch Flächenkameras. 
Die Bildauswertung beinhaltet zudem die Berechnung der Flächenschwerpunk- 
te einzelner Partikel, welche als Eingabedaten für das MOT dienen. 
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» CUDA TitanX 
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Abbildung 4.28: Benötigte Laufzeit auf einer TitanX GPU für den Datensatz Zylinder. 
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Abbildung 4.29: Benötigte Laufzeit auf einer TitanX GPU für den Datensatz Gemischt. 
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Laufzeit in Millisekunden 


Abbildung 4.30: Benötigte Laufzeit auf einer TitanX GPU für den Datensatz Kugeln 1. 


Laufzeit in Millisekunden 


Abbildung 4.31: Benötigte Laufzeit auf einer TitanX GPU für den Datensatz Kugeln 2. 
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«  OpenCL HD530 
104 * OpenCL HD530 (Referenz) 
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Abbildung 4.32: Benötigte Laufzeit auf einer HD530 GPU für den Datensatz Zylinder. 
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Abbildung 4.33: Benötigte Laufzeit auf einer HD530 GPU für den Datensatz Gemischt. 
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Abbildung 4.34: Benötigte Laufzeit auf einer HD530 GPU für den Datensatz Kugeln 1. 
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Abbildung 4.35: Benötigte Laufzeit auf einer HD530 GPU für den Datensatz Kugeln 2. 
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Abbildung 4.36: Vergleich der Laufzeiten des Auktionsalgorithmus mit und ohne die vorge- 
stellten Weiterentwicklungen auf verschiedenen GPUs und unter Verwendung 
verschiedener Programmiertechniken. 


Tabelle 4.4: Erzielte Ergebnisqualitäten beim Einsatz des Auktionsalgorithmus. Der weiterentwi- 
ckelte Algorithmus erzielt die gleiche Ergebnisqualität wie die Referenzimplementie- 
rung. Die Ergebnisse gelten für alle Hardwarevarianten und Programmiertechniken. 


Datensatz Korrekte Tracks 
Referenz Vorgestellt 


Zylinder 100.0% 100.0% 
Gemischt 99.8% 99.8% 
Kugeln 1 99.2% 99 .2%o 
Kugeln 2 99.9% 99.9% 
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Das MOT wurde als Punkt-Tracking-System mit harten Assoziationsentschei- 
dungen realisiert. Als Dynamikmodell wurde ein Kalman Filter mit CV Modell 
ausgewählt. Für die Verwaltung der Tracks wurde ein Scoring-System umge- 
setzt, welches auch bei temporären Fehlern in der Bildauswertung eine robuste 
Verfolgung der Partikel ermöglicht. 


Es erfolgte die Evaluation konventioneller Algorithmen für die Lösung des 
Zuordnungsproblems auf Basis simulativ erzeugter Datensätze eines Sortier- 
prozesses. Der Einsatz eines GNN Lösers ergab dabei eine hohe Ergebnis- 
qualität. Für einen LNN Löser konnte insbesondere bei den herausfordernden 
Datensätzen lediglich eine unbefriedigende Ergebnisqualität festgestellt wer- 
den. Ebenfalls wurde aufgezeigt, dass die benötigten Laufzeiten für den GNN 
Löser bei steigenden Problemgrößen und somit wirtschaftlich relevanten Ma- 
terialdurchsätzen der einzuhaltenden festen Echtzeitbedingung nicht gerecht 
werden. In der Konsequenz wurden zwei alternative Ansätze zur Laufzeitre- 
duktion vorgeschlagen. 


Der erste Ansatz sieht eine adaptive Algorithmenauswahl zur Laufzeit zur Lö- 
sung des Zuordnungsproblems vor. Für die experimentelle Validierung wur- 
den die beiden in der vorherigen Betrachtung berücksichtigten konventionellen 
Algorithmen als Auswahlmöglichkeiten in Betracht gezogen. Die Ergebnisse 
zeigen, dass der Ansatz es ermöglicht, die Chance auf Einhaltung der festen 
Echtzeitbedingung zu steigern. Nachteilig an dem Verfahren ist jedoch, dass 
eine systematische Wahl des Schwellenwertes für den Algorithmenwechsel 
nur bedingt möglich ist. Dies begründet sich in der Erkenntnis, dass durch die 
Verwendung eines schnelleren, in der Ergebnisqualität unterlegenen Algorith- 
mus die Problemgröße durch die Erzeugung zusätzlicher, fehlerhafter Tracks 
künstlich gesteigert werden kann. Diese nachteilige Situation mindert nicht nur 
die Ergebnisqualität, sondern führt letztendlich auch zu erhöhten Laufzeiten. 


Der zweite Ansatz besteht aus einer hochgradig parallelisierten Version des 
Auktionsalgorithmus für eine GPU. Durch eine Anpassung der Datenstruktu- 
ren sowie der Reduktion von Synchronisierungspunkten mit der CPU konnte 
eine deutliche Reduktion der Laufzeiten im Vergleich mit einer ebenfalls auf 
einer GPU basierenden Referenzimplementierung nachgewiesen werden. Zu- 
dem erzielt der Algorithmus für alle betrachteten Datensätze eine hohe Ergeb- 
nisqualität von mindestens 99,2 90 korrekter Tracks. Durch den Einsatz einer 
integrierten GPU kann das Zuordnungsproblem bereits für deutlich größe- 
re Problemgrößen im Vergleich zu den konventionellen Algorithmen in für 
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die sensorgestützte Schüttgutsortierung akzeptablen Laufzeiten gelöst werden. 
Durch den Einsatz einer leistungsstarken dedizierten GPU können die Laufzei- 
ten zusätzlich reduziert werden. Hinsichtlich letzterem muss für den industri- 
ellen Einsatz jedoch die typischerweise höhere Leistungsaufnahme und somit 
auch Abwärme berücksichtigt werden. 


Die vorgestellten Ansätze zur Beschleunigung der Lösung des Zuordnungs- 
problems sind nicht nur für das MOT bzw. die sensorgestützte Schüttgutsor- 
tierung relevant, sondern bieten ein beschleunigtes Verfahren unabhängig von 
dem Einsatzgebiet und lassen sich z.B. für entsprechende Probleme aus dem 
Bereich Logistik einsetzen. 
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5  Bildfolgenauswertung fur 
Kalibrierungs- und 
Systemanalyseverfahren zur 
verbesserten Systemauslegung 


Aufgrund der vielen Möglichkeiten hinsichtlich der Auswahl von Systemkom- 
ponenten und deren Parametrisierung, z. B. des Transportmechanismus, bedarf 
es fiir sensorgestützte Sortiersysteme einer Möglichkeit für den systematischen 
Vergleich verschiedener Systemauslegung. Dies gilt sowohl für Systeme ent- 
sprechend dem Stand der Forschung und Technik als auch den in dieser Arbeit 
vorgestellten Entwicklungen. Hierdurch wird ebenfalls die Basis geschaffen, 
die Parametrisierung eines Sortiersystems gezielt zu optimieren. Erfolgt die 
Bewertung einer Systemauslegung kontinuierlich während eines Sortierpro- 
zesses, kann gar auf sich ändernde Beschaffenheiten des Materialstroms, z.B. 
eine Änderung der Korngrößenverteilung, reagiert und die Parametrisierung 
adaptiert werden. Der Materialtransport ist dabei ein wesentlicher Schritt und 
hat starken Einfluss auf die Sortierqualität. 


Dieses Kapitel widmet sich der Untersuchung von Forschungsfrage (C): 


Können bestehende Systemauslegungen durch Ermittlung von Be- 
wegungsinformation bewertet und deren Parametrisierung ver- 
bessert werden, so dass auch online eine Selbst-Optimierung des 
Sortiersystems möglich wird? 


Eine quantitative Beschreibung des Bewegungsverhaltens ermöglicht ebenfalls 
eine Abschätzung des Potenzials der Bildfolgenauswertung für die verbesserte 
Materialausschleusung und die Materialcharakterisierung auf Basis von Be- 
wegungsinformation. In beiden Fällen ist hierbei die Homogenität der Bewe- 
gung einzelner Partikel zueinander entscheidend. Daher ist die vergleichende 
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(a) (b) (c) (d) 


Abbildung 5.1: Schematische Darstellung méglicher Bewegungsmuster von Partikeln im Mate- 
rialstrom. Die Beispiele in (a) bis (c) zeigen Muster, welche mit globaler Para- 
metrisierung mit Systemen entsprechend dem Stand der Forschung und Technik 
gehandhabt werden können, da die Partikel eine homogene Bewegung aufweisen. 
Das in (d) aufgezeigte Beispiel enthält diese Eigenschaft nicht, wodurch es zu 
potentiellen Fehlern in der Materialtrennung kommen kann. Andererseits lässt 
sich für (a) bis (c) annehmen, dass keine Materialcharakterisierung auf Basis der 
Bewegung möglich ist, da sich alle Partikel gleich bewegen. Für (d) trifft dies 
nicht zu, eine Materialcharakterisierung auf Basis der Bewegung ist potentiell 
möglich. 


Analyse aller in einem Materialstrom auftretenden Bewegungen relevant, die 
Betrachtung eines Einzelpartikels gibt keine Aufschlüsse. 


Potential für die verbesserte Materialausschleusung Die zu prüfende Hy- 
pothese für die verbesserte Ausschleusung ist, dass der Nutzen der Bildfol- 
genauswertung mit zunehmender Inhomogenität der Bewegung der Objekte 
zunimmt. Systeme gemäß dem Stand der Forschung und Technik, also mit Ver- 
wendung einer zeilenscannenden Sensorik und ohne partikelindividuelle Be- 
wegungsinformation, werden hinsichtlich der erwarteten Bewegung zwischen 
Detektion und Trennung global, also für alle Partikel gleich, parametrisiert. 
Dieses Vorgehen ist nur erfolgreich solange die Bewegung aller Partikel gleich 
ist. Die konkrete Ausprägung der Bewegung spielt jedoch keine Rolle. Der 
Sachverhalt wird anhand von Abbildung 5.1 schematisch verdeutlicht. Abbil- 
dungen 5.la bis 5.1c zeigen Beispiele homogener Bewegungen, ein Beispiel 
inhomogener Bewegungen ist in Abbildung 5.1d dargestellt. 
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Potential für die Materialcharakterisierung Für die verbesserte Material- 
charakterisierung auf Basis von Bewegungsinformation wird angenommen, 
dass das Verfahren auf Unterschiede im Bewegungsverhalten angewiesen ist. 
Bewegen sich alle Objekte gleich, wie in Abbildungen 5.la bis 5.1c darge- 
stellt, kann keine Unterscheidung auf Basis des Bewegungsverhaltens gelin- 
gen. Unterschiede in der Bewegung einzelner Partikel, wie in Abbildung 5.1d 
beispielhaft visualisiert, sind daher Voraussetzung für den potentiellen Erfolg 
des Verfahrens. 


Im Folgenden werden diese Fragestellungen beispielhaft anhand ausgewählter 
Szenarien untersucht. Um das Bewegungsverhalten in einem realen Sortier- 
system erfassen zu können, wird das in Abschnitt 3.1 vorgestellte Referenzsor- 
tiersystem in Abschnitt 5.1 um eine Flächenkamera und -beleuchtung für die 
Aufnahme von Bildfolgen erweitert. Die untersuchten Referenzsortieraufgaben 
werden darauf folgend in Abschnitt 5.2 beschrieben. Die experimentell erho- 
benen Daten werden abschließend in Abschnitt 5.3 analysiert und in Hinblick 
auf die genannten Fragestellungen vergleichend untersucht. 


5.1 Erweiterung des Referenzsortiersystems um 
eine Flächenkamera und 
Flächenbeleuchtung 


Um experimentelle Daten in Form von Bildfolgen von der Transportphase zu 
gewinnen wird das in Abschnitt 3.1 vorgestellte Referenzsortiersystem um eine 
Farbflächenkamera sowie eine geeignete Beleuchtung erweitert. Das verwen- 
dete Kameramodell ist Bonito CL-400 von Allied Vision. Die Kamera verfügt 
über einen CMOS Sensor mit Global Shutter und bietet 2320 x 1726 Pixel 
bei einer Bildaufnahmefrequenz von maximal 192Hz. Die Anordnung des 
Farbfilterarrays entspricht jener aus Abbildung 4.1. Es wird das gleiche Objek- 
tiv wie bei der Zeilenkamera, d.h. Zeiss Classic lense Planar T 1.4/50 ZF.2, 
eingesetzt. Die Farbflächenkamera ist zudem genau wie die Zeilenkamera aus 
Abschnitt 3.1 über eine Camera-Link-Schnittstelle an die Bilderfassungskarte 
des Typs microEnable 4 series des Herstellers Silicon Software an einen Com- 
puter angeschlossen. Zum Erreichen der vollen Datenrate werden jedoch zwei 
Ports benötigt. 
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Durch den realisierten Arbeitsabstand der Kamera ergibt sich für die Aufnah- 
men auf dem Förderband eine Ortsauflösung von ca. 76 um pro Pixel und auf 
der Rutsche von ca. 70 um pro Pixel. Beim Einsatz des Förderbandes überblickt 
die Kamera das Ende des Bandes, im Falle der Rutsche das Ende der Rutsche 
sowie einen kurzen Abschnitt der Freiflugphase. In Transportrichtung wird der 
Bildbereich voll ausgewertet, was in Beobachtungsstrecken von ca. 130 mm auf 
dem Förderband und ca. 120 mm auf der Rutsche resultiert. Quer zur Trans- 
portrichtung wird der Bereich entsprechend der Breite des Förderbands bzw. 
der Rutsche ausgeschnitten. 


Die Beleuchtung des Kamerablickfelds erfolgt mittels einer LED Ringleuchte. 
Die Leuchte hat einen inneren Durchmesser von 210mm und wird so po- 
sitioniert, dass die Kamera möglichst mittig durch den inneren Ring blickt. 
Die homogene Ausleuchtung einer Fläche ist im Vergleich zu einer Zeile, 
welche über zwei LED Zeilenbeleuchtungseinheiten realisiert ist, technisch 
anspruchsvoller. So lassen sich Schattenwürfe durch die Objekte nicht voll- 
ständig vermeiden. Diese müssen durch die Bildauswertung robust als solche 
erkannt werden, um keinen Einfluss auf die Objektcharakterisierung zu haben. 
Abbildungen 5.2 und 5.3 zeigen die resultierenden Aufbauten. Wie zu sehen 
ist, wird in der Variante als Rutschensortierer zudem eine größere Rückwand 
eingesetzt, da sich so die einzelnen Komponenten flexibler positionieren lassen. 


Für die Untersuchungen in Abschnitt 5.3 werden Bildfolgen an dem Sortier- 
system aufgezeichnet und danach offline ausgewertet. Für die Aufzeichnung 
wird die Software microDisplay von Silicon Software eingesetzt. Diese ermög- 
licht das Speichern einer Sequenz von Bildern im Arbeitsspeicher. Die Auf- 
nahmen werden als Grauwertbilder im Bayer-Muster gespeichert (vergleiche 
Abschnitt 4.1.1), und müssen nachträglich in Farbbilder umgerechnet werden. 


5.2 Vorstellung der Referenzsortieraufgaben 


Zu den entscheidendsten Faktoren für das Bewegungsverhalten zählen die me- 
chanischen sowie geometrischen Eigenschaften der zu sortierenden Objekte als 
auch der eingesetzte Transportmechanismus. Für die Analyse der Objektbewe- 
gung werden daher zwei sich in diesen Eigenschaften stark unterscheidende 
Materialien berücksichtigt (siehe Abbildung 5.4). Beim ersten Material handelt 
es sich um Modellkörper aus Holz. Diese entsprechen den in Abschnitt 4.3.1 
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5.2 Vorstellung der Referenzsortieraufgaben 


Abbildung 5.2: Foto des erweiterten Experimentalsystems als Bandsortierer mit Flächenkamera. 
Im Vergleich zu Abbildung 3.1 ist die neue Flächenbeleuchtung mittels eines 
Ringlichts zu sehen. Quelle: Fraunhofer IOSB 


simulativ nachgebildeten Quadern. Die Quader sind in ihrer Geometrie ein- 
heitlich. Sowohl beim Transport mittels Förderband als auch mit Hilfe einer 
Rutsche kann empirisch festgestellt werden, dass die Quader vorwiegend auf 
der größeren Fläche aufliegen. Durch die Einfärbung eines Anteils der Mo- 
dellkörper wird das Material künstlich in zwei Klassen, nämliche blaue und 
naturfarbene Quader, getrennt. 


Beim zweiten Material handelt es sich um handelsübliche Trockenlinsen. Da 
es sich um ein natürliches Produkt handelt, unterscheiden sich die Linsen im 
Gegensatz zu den Holzquadern untereinander in ihrer Geometrie. Der Durch- 
messer der Linsen liegt im Mittel bei etwa 4mm. Durch ihre ellipsoidartige 
Form können im Gegensatz zu den Quadern bei dieser Art von Produkten 
leichte Roll- und Taumelbewegungen während des Transports beobachtet wer- 
den. Auch teilweise anhaftende Hülsenrückstände könnten dieses Verhalten 
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Abbildung 5.3: Foto des erweiterten Experimentalsystems als Rutschensortierer mit Flächenka- 
mera und Ringlicht. Quelle: Fraunhofer IOSB 
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(a) Blau eingefärbte und naturfarbene Holzquader. (b) Gelbe und rote Linsen. 


Abbildung 5.4: Fotos der untersuchten Materialien. Quelle: Fraunhofer IOSB 
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potentiell begünstigen. Durch eine Mischung aus gelben und roten Linsen liegt 
ebenfalls eine künstliche Trennung in zwei Klassen vor. 


Neben den zwei Materialien werden zusätzlich zwei Systemauslegungen be- 
rücksichtigt. Diese entsprechen den in Abbildungen 5.2 und 5.3 dargestellten 
Transportvarianten als Förderband und als Rutsche. Diese Transportvarianten 
haben gegenüber dem freien Fall den Vorteil, dass sie mehrere Beeinflus- 
sungsmöglichkeit zur Anpassung an ein vorliegendes Sortierproblem bieten, 
vergleiche Abschnitt 2.2.1. Daher wird der Transport mittels freiem Fall nicht 
in die Untersuchung miteinbezogen. 


Die geometrischen Angaben zu den Komponenten sind in Abschnitt 3.1 zu 
finden. Die Rutsche wird auf einen Winkel von 54° eingestellt, für welchen 
empirisch ein guter Transport der Produkte ermittelt werden konnte. Wie 
bereits diskutiert wird generell angenommen, dass durch den Einsatz eines 
Förderbands die Relativbewegung einzelner Objekte zur Transportbewegung 
stark minimiert oder gar eliminiert wird, wodurch eine homogene Bewegung 
entsteht. Der Einsatz einer Rutsche birgt durch geringere Investitions- und Be- 
triebskosten hingegen wirtschaftliche Vorteile. Durch die Reibung der Ober- 
fläche mit den Objekten, welche entlang der Rutsche beschleunigen, ist jedoch 
eine größere Ausprägung der Relativbewegung und eine deutlich inhomoge- 
nere Bewegung zu erwarten. In Abschnitt 5.3 werden u.a. diese Annahmen 
überprüft. 


5.3 Erfassung und Bewertung der Bewegung 


Für die Bewegungsanalyse werden jeweils drei Bildfolgen, bestehend aus 2000 
Bildern, für die verschiedenen Szenarien gewonnen. Durch die Bildwiederhol- 
rate von 192 Hz ergibt sich für eine Folge somit eine Aufnahmedauer von gut 
10s. Die Szenarien stellen Quader und Linsen jeweils auf dem Förderband und 
der Rutsche dar, woraus sich insgesamt 12 Sequenzen ergeben. 


Nach der Umrechnung in Farbbilder wird für jedes Bild mittels pixelwei- 
ser Farbklassifikation eine Segmentierung vorgenommen, zusammenhängende 
Regionen als Partikel bestimmt und deren Flächenschwerpunkt berechnet (ver- 
gleiche Abschnitt 4.1). Im Anschluss wird das MOT-System aus Abschnitt 4.2 
für die Objektverfolgung eingesetzt und die resultierenden Tracks gespeichert. 
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Eine visuelle Darstellung der Verarbeitungsschritte befindet sich in Abbil- 
dung 5.5. 


Eine Messung wird dabei in Form von 


Xt 
p= | | (5.1) 
Yt 


dargestellt, wobei r die Bildnummer kennzeichnet, aus welcher die Messung 
stammt. Mittels Lösung des Zuordnungsproblems werden diese zu einer Menge 
von Messungen eines Tracks, wie durch 


T= {P,,- tee Ph, | thoi — In = 1} (5.2) 


ausgedrückt, zusammengefasst. Das in Abschnitt 4.2.2 eingeführte Scoring- 
System wird nicht angewandt, da in der weiterführenden Analyse nur mög- 
lichst robust verfolgte Partikel betrachtet werden sollen. Unter der Länge eines 
Tracks wird des Weiteren |7 |, also die Anzahl zugeordneter Messungen, ver- 
standen. Die resultierenden Tracklängen für die verschiedenen Szenarien sind 
in Abbildung 5.6 dargestellt. 


Die Darstellung in Abbildung 5.6 legt nahe, dass diverse Ausreißer, z.B. in 
Form sehr kurzer Tracks, existieren. Da die entsprechenden Tracklängen un- 
plausibel erscheinen und auf Fehler in der Partikelerkennung oder -verfolgung 
hindeuten, werden die Daten in einem weiteren Schritt unter Annahme einer 
Normalverteilung bereinigt. Es werden jene Tracks verworfen, für welche 


It -T < 207 (5.3) 


nicht erfüllt ist, wobei 7 die mittlere Länge und oy die Standardabweichung 
über alle ermittelten Tracks der entsprechenden Versuchsreihe bezeichnen. 
Durch die Wahl von 20 verbleiben ca. 95% der aufgezeichneten Tracks. Die 
resultierenden Tracklängen der bereinigten Daten sind in Abbildung 5.7 visua- 
lisiert. 


Als Grundlage zur Untersuchung der zu Beginn des Kapitels genannten Fra- 
gestellungen werden die Geschwindigkeiten fiir die Bewegungskomponenten 
in und quer zu der Transportrichtung ermittelt. Hierzu wird fiir jeden ermit- 
telten Track die Differenz zwischen der Position der letzten und der ersten 
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5.3 Erfassung und Bewertung der Bewegung 


(a) Bild zum Zeitpunkt tn 


(b) Bild zum Zeitpunkt tn+2 


(ce) Bild zum Zeitpunkt tn+4 


Abbildung 5.5: Drei Bilder von Linsen, wie vom System aufgezeichnet. Die Transportrichtung 
des Materials ist von oben nach unten. Die erkannten Partikel werden durch einen 
roten Rand hervorgehoben. Die blauen Kreise zeigen die aktuellen Schwerpunkte 
der Objekte an und die blauen Linien die Bahnen, denen die Partikel bisher gefolgt 
sind. 
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Abbildung 5.6: Histogramme über die Längen der ermittelten Tracks für die einzelnen Versuchs- 
reihen. Die drei Sequenzen pro Material und Transportmechanismus wurden 
hierbei zusammengefasst. Hinter der Versuchsbezeichnung ist die Menge an er- 
zeugten Tracks in Klammern angegeben. 


Messung gebildet, durch die Anzahl an vergangenen Zeitschritten geteilt und 
mit der Frequenz der Kamera multipliziert, wodurch pro Track eine mittlere 
Geschwindigkeit pro Sekunde über den Beobachtungszeitraum entsteht: 


Pz, ~ Pz 


- 192. (5.4) 
IT | 


v= 
Bei den Geschwindigkeiten quer zur Transportrichtung v, können hierbei 
sowohl positive als auch negative Werte entstehen. Beim Blick gegen die 
Transportrichtung entsprechen negative Werte hierbei einer Bewegung nach 
links und positive Werte einer Bewegung nach rechts. Negative Geschwin- 
digkeiten in Transportrichtung v, kommen erwartungsgemäß nicht vor. Für 
die resultierenden Geschwindigkeiten wird des Weiteren eine Normalvertei- 
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Abbildung 5.7: Histogramme über die Längen der ermittelten und bereinigten Tracks für die 
einzelnen Versuchsreihen analog zu Abbildung 5.6. Die Anzahl der Tracks ist 
durch die Bereinigung entsprechend reduziert. 


lung angenommen. Die resultierenden statistischen Merkmale Mittelwert und 
Standardabweichung sind für die verschiedenen Versuchsreihen in Tabelle 5.1 
festgehalten. Einen detaillierten Einblick in die einzelnen Messwerte bieten die 
Visualisierungen in Abbildungen 5.8 bis 5.11, in welchen neben den einzelnen 
Messwerten auch die resultierenden Konfidenzintervalle als Ellipsen für 30 
dargestellt sind. 


Die erhobenen Daten werden zunächst für einen Vergleich der berücksichtigten 
Materialien betrachtet. Aus Tabelle 5.1 sowie Abbildungen 5.8 und 5.9 wird 
deutlich, dass für beide Materialien beim Transport auf dem Förderband für bei- 
de Richtungskomponenten nur eine sehr geringe Streuung vorliegt. Die Form 
der Konfidenzellipsen deutet zudem auf keine oder lediglich sehr schwach 
ausgeprägte Korrelation zwischen beiden Messgrößen hin. Der Einfluss der 
Materialien auf das Bewegungsverhalten ist also sehr schwach ausgeprägt. 
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Abbildung 5.8: Ermittelte Positionsänderungen pro Sekunde der einzelnen Tracks und Konfiden- 
zellipse für Quader auf dem Förderband. 
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Abbildung 5.9: Ermittelte Positionsänderungen pro Sekunde der einzelnen Tracks und Konfiden- 
zellipse für Linsen auf dem Förderband. 
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Abbildung 5.10: Ermittelte Positionsänderungen pro Sekunde der einzelnen Tracks und Konfi- 
denzellipse für Quader auf der Rutsche. 
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Abbildung 5.11: Ermittelte Positionsänderungen pro Sekunde der einzelnen Tracks und Konfi- 
denzellipse für Linsen auf der Rutsche. 
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Tabelle 5.1: Empirische Mittelwerte und Standardabweichungen zur Bewegung der Partikel in 
Millimeter pro Sekunde in den betrachteten Versuchsreihen. 


Transport Material Ve Sy 


x 


Vy Sy, 


Quader 0,00 1,82 1.096,91 4,07 
Linsen -0,04 5,25 1.093,25 6,34 


Band 


Quader 21,32 31,21 1.605,48 153,94 
Linsen 25,82 20,48 1.621,12 42,06 


Rutsche 


Um den theoretischen Fehler in der Ausschleusung zu ermitteln, muss eine 
Distanz d zwischen Erfassung und Trennung angenommen werden. Dies wird 
beispielhaft fiir die Streuung in Transportrichtung betrachtet. Die Parametrisie- 
rung der Verzögerungszeit fiir Sortiersysteme gemäß dem Stand der Forschung 
und Technik ergibt sich aus 

d 


=. (5.5) 
Vy 
Um eine ca. 99 % sichere Ausschleusung zu realisieren, muss eine Toleranz Ar 


gegeben sein, so dass 
Ar d d At 


d 
— - <= <— + 5.6 
vy 2 vy + 30y, vy 2 (5.6) 


erfiillt ist. Die Realisierung einer solchen Toleranz kann tiber die in Ab- 
schnitt 3.2.2 erläuterte Aufweitung der Ausblasfenster erzielt werden. Die 
kleinstmögliche Toleranz ergibt sich dann nach 


2d 2d 
Atmin = |= = (5.7) 
Vy + 30%, Vy 
oder alternativ die maximal zulässige Distanz bei gegebenem Ar nach 
Arv,(Vy + 30y,) 
dmax = — : (5.8) 


60%, 
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Unter Annahme einer exemplarischen Distanz von 40 mm ist für beide Mate- 
rialien Ar = | ms hierfür ausreichend — ein Wert, welcher in der Praxis unter 
Verwendung der in Abschnitt 3.1 vorgestellten elektrischen Ventilansteuerung 
ohnehin nicht unterschritten werden kann. Gleiches gilt bei Betrachtung der 
Streuung der Bewegung quer zur Transportrichtung, wenn eine übliche Orts- 
auflösung der Schnellschaltventile berücksichtigt wird (vgl. Abschnitt 3.1). 
Aufgrund der ermittelten geringen Streuung kann daher ein geringer Fehler 
in der Materialausschleusung bei Sortiersystemen gemäß dem Stand der For- 
schung und Technik erwartet werden. Der zu erwartende Mehrwert durch den 
Einsatz von Bildfolgenauswertung für die verbesserte Materialausschleusung 
fällt entsprechend gering aus. Beim Vergleich der Materialien auf der Rutsche 
anhand von Tabelle 5.1 bzw. Abbildungen 5.10 und 5.11 kann jedoch ins- 
besondere bei der Streuung der Geschwindigkeiten in Transportrichtung ein 
klarer Unterschied festgestellt werden. Die Streuung ist bei den Quadern um 
ein Vielfaches stärker ausgeprägt als bei den Linsen, was auf einen höheren 
Gleitreibungskoeffizienten hindeutet. 


Vergleicht man die Daten hinsichtlich des eingesetzten Transportmechanis- 
mus lässt sich eindeutig feststellen, dass die Versuchsreihen mit Rutsche eine 
deutlich größere Streuung als jene mit einem Förderband aufweisen. Dies un- 
terstützt die These, dass mittels Förderband ein gleichmäßigeres Bewegungs- 
verhalten erzeugt wird. Anhand von Gleichung (5.7) lässt sich feststellen, dass 
bei einer exemplarischen Distanz von 40 mm für die Quader beim Einsatz des 
Förderbands ein Ar von ca. | ms ausreichend ist, während auf der Rutsche etwa 
11 ms für eine sichere Ausschleusung notwendig sind. Auch für die Linsen 
wird in diesem Fall ein höherer Wert von ca. 4 ms benötigt. Dies deutet darauf 
hin, dass bei der Sortierung mit Systemen entsprechend dem Stand der For- 
schung und Technik große Ausblasfenster gewählt werden müssen, um eine 
sichere Ausschleusung zu gewährleisten. In der Konsequenz steigt hierdurch 
jedoch das Risiko fälschlich ausgeschleuster Partikel, also eine Erhöhung von 
FP (vergleiche Abschnitt 2.4). Insgesamt kann daher für die Sortieraufgaben 
auf der Rutsche ein großes Fehlerpotential bei der Trennung bei Sortiersyste- 
men gemäß dem Stand der Forschung und Technik und ein entsprechend hoher 
zu erwartender Mehrwert durch den Einsatz von Bildfolgenauswertung für die 
verbesserte Materialausschleusung angenommen werden. 


Für die Materialcharakterisierung auf Basis von Bewegungsverhalten scheinen 
die betrachteten Szenarien auf dem Förderband ebenfalls wenig vielverspre- 
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Abbildung 5.12: Vergleichende Darstellung der Positionsänderungen von Quadern und Linsen 
auf der Rutsche. 


chend, da die Objekte eine sehr homogene Bewegung aufweisen. Um eine 
Einschätzung fiir die Versuchsreihen auf der Rutsche zu ermöglichen, sind die 
erhobenen Daten aus Abbildungen 5.10 und 5.11 in Abbildung 5.12 verglei- 
chend dargestellt. Qualitativ betrachtet, lässt sich auf Basis dieser Darstellung 
bereits bewerten, dass eine Unterscheidung alleinig auf Basis der mittleren Ge- 
schwindigkeiten nur geringe Erfolgsaussichten hat. In Kapitel 7 werden daher 
neue Verfahren zur Materialcharakterisierung auf Basis von Bewegungsver- 
halten vorgestellt. 


5.4 Zusammenfassung und Diskussion der 
Ergebnisse 


In diesem Kapitel wurde ein Verfahren zur Erfassung und quantitativen Be- 
schreibung des Transportverhaltens von Materialströmen in der sensorgestütz- 
ten Schüttgutsortierung vorgestellt. Hierzu wurde das in Kapitel 3 vorgestellte 
Referenzsortiersystem um eine Flächenkamera sowie eine geeignete Beleuch- 
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tung erweitert. Die Flächenkamera wurde im Sinne einer Analysesensorik 
betrieben und für die Beobachtung des Materialstroms während der Transport- 
phase positioniert. 


Für die Untersuchung wurden zwei Referenzsortieraufgaben vorgestellt, wel- 
che auch im folgenden Kapitel aufgegriffen werden. Bei den Materialien han- 
delt es sich um Holzquader mit homogener Geometrie und Linsen, welche als 
natürliches Produkt in ihrer Form variieren. In beiden Fällen lassen sich die 
Produkte anhand ihrer Färbung in je zwei Klassen unterteilen. Diese Unter- 
scheidung spielte für die Untersuchung in diesem Kapitel keine Rolle, wird 
jedoch für die Definition des Sortierkriteriums in Kapitel 6 genutzt. 


Für beide Referenzsortieraufgaben wurden unter Verwendung der Transport- 
varianten Förderband und Rutsche Bildfolgen der Transportphase gewonnen. 
Mittels der in Kapitel 4 vorgestellten Verfahren wurden aus diesen Bildfolgen 
Tracks extrahiert. Auf Basis der jeweils zugeordneten Messungen wurden par- 
tikelindividuelle Geschwindigkeiten berechnet. Die Analyse der Streuung der 
Geschwindigkeiten der unterschiedlichen Partikel ergab, dass das Bewegungs- 
verhalten auf dem Förderband für beide Materialien sehr uniform ausgeprägt 
ist. Auf der Rutsche ergab sich für beide Referenzsortieraufgaben jedoch eine 
vergleichsweise hohe Streuung. Die Streuung der Geschwindigkeiten in Trans- 
portrichtung fiel dabei höher aus als die Streuung der Geschwindigkeiten quer 
zur Transportrichtung. 


Es wurde ein Verfahren vorgestellt, welches anhand der Streuung der Ge- 
schwindigkeiten in Transportrichtung eine systematische Auslegung der Aus- 
blasfenster zur Erzielung einer gewünschten Trennschärfe ermöglicht. Durch 
eine fortlaufende Ermittlung der Geschwindigkeitsstreuung ließe sich damit 
perspektivisch die Parametrisierung der Ausblasfenster während eines Sortier- 
betriebs automatisiert anpassen und somit die Sortiereffizienz optimieren. 
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verbesserte 
Materialausschleusung 


Bei der sensorgestützten Schüttgutsortierung erfolgt die Lokalisierung einzel- 
ner Objekte während der sensorischen Erfassung und damit zeitlich vor der 
Separation. Bei Sortiersystemen entsprechend dem Stand der Forschung und 
Technik steht aufgrund der Verwendung eines zeilenscannenden Sensors für 
jedes Objekt nur eine einzige Positionsmessung zur Verfügung. Daher können 
keine Informationen über die Bewegung eines Objektes abgeleitet werden. Um 
jedoch Objekte, die aus dem Strom entfernt werden sollen, sicher ablenken 
zu können, muss vorhergesagt werden, wann und wo sie die Separationsphase 
erreichen werden. Dies geschieht, indem für alle Partikel eine konstante Ver- 
zögerungszeit zwischen sensorischer Erfassung und Trennung angenommen 
wird. Trifft diese Annahme für ein Objekt nicht zu, da eine Abweichung von 
der parametrisierten Verzögerungszeit oder eine Bewegung quer zur Trans- 
portrichtung existiert, kann dies zu einem Fehler bei der Separation führen. 
Hierfür genügen je nach System bereits wenige Millimeter bzw. Millisekunden 
Abweichung. 


Zur Minimierung dieses Fehlers sind im Wesentlichen zwei Maßnahmen be- 
kannt: 


1. Reduktion der Latenz. Dies kann erzielt werden, indem die Inspek- 
tionslinie örtlich so nah wie möglich an der Separationsstufe platziert 
wird. Obwohl die Reaktionszeiten von Sensoren und Verarbeitungssys- 
temen aufgrund neuer Entwicklungen immer kürzer werden, kann der 
Abstand jedoch nicht beliebig minimiert werden. Aufgrund der festen 
Echtzeitanforderungen muss die Datenverarbeitung — auch in Zeiten ho- 
her Systembelastung bedingt durch hohe Belegungsdichte — abgeschlos- 
sen sein, bevor das Material die Separationsstufe passiert. 
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2. Verwendung großer Ausblasfenster. Hierdurch werden mehr Düsen 
länger als vermeintlich benötigt aktiviert, um die Wahrscheinlichkeit 
einer erfolgreichen Ausschleusung zu erhöhen. Dies erhöht jedoch das 
Risiko, dass andere Objekte fälschlicherweise mit abgelenkt werden. 
Zudem steigt durch diese Maßnahme der Druckluftbedarf, wodurch die 
Betriebskosten steigen. 


Dieses Kapitel widmet sich der Untersuchung von Forschungsfrage (B): 


Lassen sich durch Nutzung von Bewegungsinformation präzisere 
Steuersignale für die Materialausschleusung berechnen, was eine 
völlig neue Qualität der Sortierung ermöglichen würde? 


Die Bildfolgenauswertung wird als neues Verfahren zur Kompensation unge- 
nügender Materialberuhigung untersucht. Es erfolgt die experimentelle Un- 
tersuchung der Sortierqualität bei Einsatz der Bildfolgenauswertung inklusive 
MOT unter Nutzung des in Abschnitt 5.1 um eine Flächenkamera erweiterten, 
experimentellen Sortiersystems [Mai+2la]. Die erzielten Ergebnisse werden 
mit der jeweiligen, ebenfalls experimentell ermittelten Sortierqualität bei Nut- 
zung des Referenzsortiersystems mit Zeilenkamera aus Abschnitt 3.1 vergli- 
chen. Als Referenzsortierprobleme dienen die in Abschnitt 5.2 vorgestellten 
Szenarien. 


Das Verfahren zur Nutzung der Bewegungsinformation für die Ansteuerung der 
Separation wird in Abschnitt 6.1 erläutert. Anschließend werden die Konfigu- 
rationen der Sortiersysteme, welche für den experimentellen Vergleich genutzt 
werden, in Abschnitt 6.2 beschrieben. Das angewandte Bewertungsschema, die 
Versuchsbeschreibung und Ergebnisdiskussion folgt in Abschnitt 6.3. 


6.1 Nutzung partikelindividueller 
Bewegungsinformation zur 
Separationssteuerung 


Für die Realisierung eines bildfolgenerweiterten Sortiersystems wird die ent- 
wickelte und in Kapitel 4 beschriebene Software für den Einsatz online am 
System ertüchtigt und erprobt. Die Bildvorverarbeitung setzt sich aus der Bild- 
homogenisierung, dem Demosaicing, einer Konvertierung aus dem RGB in 
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den HSI-Farbraum, sowie einer pixelweisen Farbklassifikation auf Basis von 
drei Intervallen, jeweils für den Farbwert, die Farbsättigung und den Hellwert, 
zusammen. Darauf folgt die ebenfalls in Kapitel 4 beschriebene Bildverar- 
beitung sowie das vorgestellte MOT. Als Löser für das Zuordnungsproblem 
wird der in Abschnitt 4.3.4 vorgestellte Auktionsalgorithmus auf einer GPU 
eingesetzt. 


Für den Sortierbetrieb schätzt das MOT-System in jedem Zeitschritt die ver- 
bleibende Zeit bis ein Objekt die Separationsphase erreicht. Die Position der 
Separationseinheit wird hierfür als imaginäre Bildzeile dargestellt. Die Zeilen- 
nummer entspricht dabei der Pixelzeile, in welcher sich die Reihe von Düsen 
befinden würde, wenn das Bild bis dort reichen würde. Unterschreitet der so 
geschätzte Zeitabstand einen parametrisierbaren Schwellenwert, wird der ge- 
schätzte Zeitpunkt sowie die Position quer zur Transportrichtung, an der das 
Objekt die Separation erreicht, berechnet und letztendlich per CAN-Bus die 
Ventile entsprechend angesteuert. Dieser Schwellenwert wird anhand von 


0 := k- tpia (6.1) 


als Vielfaches des zeitlichen Abstands zwischen zwei Bildern definiert. Er 
ist erforderlich, da das Ausblasfenster mit einem gewissen Vorlauf tibertragen 
werden muss, um die durch die Übertragung selbst verursachte Verzögerung 
sowie die Reaktionszeit der Schnellschaltventile zu kompensieren. Dieser Vor- 
lauf sollte einerseits so klein wie möglich gewählt werden, damit möglichst viel 
und aktuelle Information in das Bewegungsmodell einfließen kann, wodurch 
wiederum die Vorhersagegenauigkeit gesteigert wird. Andererseits muss si- 
chergestellt werden, dass der Vorlauf groß genug gewählt wird, damit die feste 
Echtzeitbedingung eingehalten werden kann. 


Nach Unterschreitung von 0 werden für den entsprechenden Track so lange Fil- 
terschritte, also Prädiktionen mittels des Dynamikmodells, durchgeführt, bis 
eine Koordinate auf oder hinter der Bildzeile, in welcher sich die Separations- 
einheit befindet, ermittelt wird. Wird diese nicht getroffen, wird zwischen der 
letzten Prädiktion vor und der ersten danach linear interpoliert. Das Ausblas- 
fenster entspricht dann dem achsenparallelen umschließenden Rechteck mit der 
ggf. interpolierten Prädiktion als Mittelpunkt sowie ggf. einer parametrisierten 
Aufweitung. 
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(b) Ausschleusung unter Verwendung parti- 


(a) Ausschleusung bei zeilenscannenden 
kelindividueller Bewegungsinformation. 


Sensoren mit konstanter Verzögerungs- 
zeit. 


Abbildung 6.1: Schematischer Vergleich zwischen der Bestimmung der Ausblasfenster bei der 
Verwendung zeilenscannender Sensoren mit konstanter Verzögerungszeit und der 


Verwendung partikelindividueller Bewegungsinformation. 


Ein schematischer Vergleich zwischen der Bestimmung der Ausblasfenster 
bei der Verwendung zeilenscannender Sensoren mit konstanter Verzögerungs- 
zeit und der Verwendung partikelindividueller Bewegungsinformation ist in 
Abbildung 6.1 dargestellt. Die experimentell zu überprüfende Hypothese ist 
demnach, ob durch die Verwendung einer eigenen Parametrisierung des Bewe- 
gungsmodells pro Partikel Bewegungen quer zur Haupttransportrichtung sowie 
Unterschiede in der Geschwindigkeit in Transportrichtung detektiert und für 
die Ausschleusung genutzt werden können. 


6.2 Parametrisierung der Sortiersysteme und 
Vorstellung des Bewertungsschemas 


Um experimentell einen relativen Vergleich hinsichtlich der Leistungsfähigkeit 
der Materialausschleusung zwischen dem Referenzsortiersystem und dem ex- 
perimentellen Sortiersystem mit Bildfolgenauswertung zu ermöglichen, müs- 
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sen für beide Systeme möglichst gleiche Rahmenbedingungen realisiert wer- 
den. Im Folgenden werden die relevanten Parameter benannt und ihre Ausprä- 
gung für die Versuche erläutert. 


6.2.1 Parameter für die Zuführung und den 
Materialtransport 


Eine vorbereitete Materialcharge wird mittels Linearschwingförderer dem Sor- 
tiersystem zugeführt. Der Massenstrom des Materials hängt von der Amplitude 
des Linearschwingförderers sowie dem Fließverhalten des Materials ab. Eine 
Abbildung der dimensionslosen Förderstufen, wie sie mit Hilfe des Potentio- 
meters eingestellt werden können (vergleiche Abschnitt 3.1) auf den resultie- 
renden Massenstrom wird mittels einer Waage für beide Materialien ermittelt. 
Die Waage wird hierzu an einen Computer angeschlossen und das aktuelle 
Gewicht bei einer Aktualisierungsrate von ca. 18Hz für verschiedene För- 
derstufen aufgezeichnet. Als Transportvarianten werden das in Abschnitt 3.1 
beschriebene Förderband mit einer Laufgeschwindigkeit von ca. 1,1 m s7! so- 
wie die Rutsche mit einem Winkel von 54° eingesetzt. Dies entspricht den 
ebenfalls in Kapitel 5 verwendeten Einstellungen. 


6.2.2 Parameter für die Bildaufnahme und -auswertung 


Hinsichtlich der Bildaufnahmeparameter ergeben sich zwangsläufig Änderun- 
gen zwischen beiden Systemen, da jeweils eine eigene Kamera eingesetzt wird. 
Die Aufnahmerate der Zeilenkamera wird in beiden Szenarien auf 7692 Hz ein- 
gestellt, was einem zeitlichen Abstand von 130 us zwischen zwei Zeilen ent- 
spricht. Daraus ergibt sich unter Berücksichtigung der in Tabelle 5.1 genannten 
mittleren Geschwindigkeiten auf dem Förderband eine örtliche Auflösung in 
Transportrichtung von ca. 143 um und auf der Rutsche von ca. 208 um. Die 
erzielte Ortsauflösung quer zur Transportrichtung liegt auf dem Förderband 
bei ca. 278 um und auf der Rutsche bei ca. 360 um. Die Bildwiederholrate 
der Flächenkamera wird im Vergleich zu den in Kapitel 5 durchgeführten 
Versuchen auf 93Hz reduziert, da bei dieser Aufnahmefrequenz der maxi- 
male Datendurchsatz bei der Bildvorverarbeitung auf der Bilderfassungskarte 
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erreicht wird. Die Ortsauflösungen entsprechen den in Kapitel 5 gemachten 
Angaben von ca. 76 um auf dem Förderband und ca. 70 um auf der Rutsche. 


Die Objektklassifizierung erfolgt für beide Materialien anhand der Farbe. Hier- 
zu werden zusätzlich zum Hintergrund zwei Farbklassen mittels der zu Beginn 
dieses Kapitels erläuterten Schwellen definiert, welche im Zuge der pixelwei- 
sen Klassifikation durch die Bilderfassungskarte den einzelnen Bildpunkten 
zugewiesen werden. Darauf folgend werden die Anteile der einem Partikel 
durch die Zusammenhangsanalyse zugeordneten Bildpunkte der jeweiligen 
Farbklasse bestimmt und das Partikel anhand des höheren Anteils als Produkt 
oder Rest klassifiziert. Aufgrund der eindeutigen Unterscheidbarkeit zwischen 
blau und naturfarben bei den Quadern sowie gelb und rot bei den Linsen kön- 
nen Fehler in der Klassifizierung ausgeschlossen werden. Blaue Quader bzw. 
gelbe Linsen werden als Produkt und naturfarbene Quader bzw. rote Linsen 
als Rest bewertet. 


6.2.3 Parameter für die Ausschleusung 


Bei Einsatz des Förderbands liegt die Trennlinie ca. 25 mm hinter der Inspekti- 
onslinie der Zeilenkamera, bei Verwendung der Rutsche liegt diese Distanz bei 
ca. 34mm. Für die Parametrisierung der Verzögerungszeit genügt es jedoch 
nicht, alleinig diese Distanz sowie die mittlere Geschwindigkeit zu berück- 
sichtigen, da systematisch auftretende Latenzen, wie z.B. die Öffnungsdauer 
der Ventile, ebenfalls miteinbezogen werden müssen. Die errechenbare Ver- 
zögerungszeit, basierend auf Distanz und mittlerer Geschwindigkeit, wird als 
Ausgangswert für die empirische Ermittlung der bestmöglichen Einstellung ge- 
nutzt. Hierzu werden, wie auch in [Pas+15], Experimente zur Trefferquote bei 
Zuführung einzelner Partikel mit mehreren Verzögerungszeiten durchgeführt. 
Auf dem Förderband wird letztendlich eine Verzögerungszeit von 20,8 ms 
und auf der Rutsche von 16 ms als bester Wert identifiziert und entsprechend 
für das Referenzsystem angenommen. Bei der Parametrisierung der virtuellen 
Bildkoordinate des Düsenbalkens bei der Verwendung des MOT wird analog 
vorgegangen. 


Hinsichtlich der Ausblasfenster werden zwei Varianten untersucht. Die ers- 
te Variante ist die Anwendung minimaler Ausblasfenster. In dieser Konfigu- 
ration wird das achsenparallele umschließende Rechteck des Partikels ohne 
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Modifikation genutzt, um die passenden Ventile sowie die Aktivierungsdauer 
zu berechnen. Diese Variante wird als Kleine Ausblasfenster bezeichnet. In 
der zweiten Variante wird das achsenparallele umschließende Rechteck des 
Partikels künstlich aufgeweitet. Quer zur Transportrichtung beträgt diese Auf- 
weitung auf beiden Seiten je 5mm, da dies der Hälfte des durch eine Düse 
abgedeckten Bereichs entspricht. Die betrachteten zeitlichen Aufweitung be- 
tragen 5,5 ms auf dem Förderband und auf der Rutsche 2,2 ms bei den Linsen 
und 7,5ms bei den Quadern. Diese Variante wird als Große Ausblasfenster 
bezeichnet. 


6.3 Experimente zur Materialtrennung 


Ein durchgeführtes Experiment besteht aus der Sortierung einer Charge von 
0,2 kg des entsprechenden Materials. Dies entspricht ca. 4200 Partikeln bei den 
Holzquadern und ca. 7000 Partikeln bei den Linsen. Die Materialmischungen 
setzen sich jeweils aus 95 % Produkt und 5% Rest zusammen. Das System 
wird auf einen mittleren Massenstrom von ca. 0,005 kg s™! konfiguriert. 


Für die Bewertung der Sortiergüte wird die in Abschnitt 2.4 vorgestellte Wahr- 
heitsmatrix ermittelt. Dabei beschreibt positiv den erfolgreichen Test auf Rest, 
also ein auszuschleusendes Partikel. Für die Ermittlung der vier Häufigkeiten 
TP, FP, FN und TN muss der Anteil der Partikel, welche zu Produkt und Rest 
gehören, pro resultierender Sortierfraktion bestimmt werden. Diese Ermittlung 
geschieht, indem nach einem Sortiervorgang beide Fraktionen einzeln erneut 
dem Sortiersystem zugeführt werden und eine Statistik über die beinhalteten 
Partikel erstellt wird. Das Material wird in diesem Schritt nicht erneut getrennt. 


Auf Basis der Wahrheitsmatrix wird in Anlehnung an die in Abschnitt 2.4 
vorgestellte Sortiereflizienz [Pas+10; Pas+15] der Anteil an Rest-Partikeln, 
welcher erfolgreich ausgeschleust wurde, entsprechend 

TP 


Ra = 7, 100% (6.2) 
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sowie der Anteil an Produkt-Partikeln, der fälschlicherweise ebenfalls ausge- 
schleust wurde entsprechend 


FP 
Re = NW 100 % (6.3) 
berechnet. Für Ra beschreiben somit höhere Werte und für Re niedrigere Werte 
ein jeweils besseres Ergebnis. 


Das Ergebnis des Sortierprozesses ist nicht deterministisch und stochastischen 
Schwankungen ausgesetzt. Verschiedene Faktoren können die Sortiereffizienz 
beeinflussen, selbst wenn die genannten Parameter fix bleiben. Beispielsweise 
ist die Materialmischung bei der Durchführung mehrerer Durchläufe nicht 
identisch und der Massenstrom kann leicht variieren. Solche Unterschiede 
können auch die Vereinzelung beeinflussen, was bekanntlich einen Einfluss auf 
die Sortiereffizienz hat [Pas+10; Küp+20c]. Daher werden alle Sortiervorgänge 
mehrfach wiederholt und statistisch betrachtet. 


6.3.1 Experimente zur Materialtrennung auf einem 
Förderband 


Die Ergebnisse für drei Sortierdurchläufe mit Quadern auf dem Förderband 
sind in Abbildungen 6.2 und 6.3 visualisiert und in Tabelle 6.1 quantitativ 
dargestellt. Die kreisförmigen Marker repräsentieren in dieser Darstellung ein 
einzelnes Experiment und der schwarze horizontale Balken den Mittelwert 
aller durchgeführten Experimente. Bei Verwendung kleiner Ausblasfenster 
ist festzustellen, dass sich die Sortiergüte zwischen beiden Verfahren kaum 
unterscheidet. Die Trefferquote liegt bei beiden Systemen im Mittel bei knapp 
95 %, die mittlere Falschtrefferquote ist bei dem Referenzsystem mit 1,74 % 
etwas höher als der mit Hilfe der Bildfolgenauswertung erzielte Wert von 
0,55 %. Bei der Verwendung großer Ausblasfenster nimmt die Trefferquote 
nur schwach zu, dafür steigt die Falschtrefferquote im Mittel auf 5,29 9 beim 
Referenzsystem und auf 2,89 % bei dem System mit Bildfolgenauswertung an. 
Die Ergebnisse untermauern damit die Schlussfolgerung aus Kapitel 5, welche 
besagt, dass für die Sortieraufgabe der Quader auf dem Band lediglich ein sehr 
geringer bis kein Mehrwert durch den Einsatz der Bildfolgenauswertung zu 
erwarten ist. 
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Abbildung 6.2: Experimentell ermittelte Sortiergüte in Form von Ry und Re für drei Versuchs- 


durchführungen bei der Sortierung von Quadern mit Förderband und Verwendung 
kleiner Ausblasfenster. 
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Abbildung 6.3: Experimentell ermittelte Sortiergüte in Form von Rg und Re für drei Versuchs- 


durchführungen bei der Sortierung von Quadern mit Förderband und Verwendung 
großer Ausblasfenster. 
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Tabelle 6.1: Ermittelte quantitative Sortiergüte für das Referenzsystem und das experimentelle 
Sortiersystem mit Bildfolgenauswertung bei der Sortierung von Quadern auf dem 


Förderband. 

Material Ausblasfenster System Ra Re 
klein Referenz 94,55 % 1,74% 
klein Bildfolgen 94,03 % 0,55 Io 

Quader 
groß Referenz 94,25 9% 5,29 fo 
groß Bildfolgen 98,03 9% 2,89 Io 


In einem weiteren Experiment wird die Robustheit des Sortiersystems gegen- 
über Störungen untersucht. Ziel der experimentellen Untersuchung ist es zu 
prüfen, ob bei steigender Abweichung der Transportgeschwindigkeit von der 
während der Systemkalibrierung berücksichtigten Geschwindigkeit die Sor- 
tierqualität bei dem Referenzsystem einerseits fällt und ob das bildfolgenerwei- 
terte System andererseits in der Lage ist, die nicht optimale Parametrisierung 
durch den adaptiven Charakter auszugleichen. Hierzu werden von der Grund- 
kalibrierung abweichende Transportgeschwindigkeiten durch Anpassung der 
Bandgeschwindigkeit betrachtet und Sortierversuche durchgeführt. Der Be- 
reich der betrachteten Geschwindigkeiten wird dabei so gewählt, dass die 
Flugparabel der Quader noch zu der Ausrichtung der Auffangbehälter passt 
und keine mechanischen Einstellungen geändert werden müssen. Alle restli- 
chen Parameter werden nicht adaptiert und entsprechen der Beschreibung aus 
Abschnitt 6.2. Für das Referenzsystem bedeutet dies, dass die parametrisierte 
Verzögerungszeit nicht an die neue Transportgeschwindigkeit angepasst ist. Für 
das bildfolgenerweiterte System bedeutet dies entsprechend, dass die parame- 
trisierte vermutete Startgeschwindigkeit neu erzeugter Tracks ebenfalls nicht 
angepasst ist (vergleiche Abschnitt 4.2.2). Da die Geschwindigkeitsschätzung 
jedoch bei erfolgreicher Zuordnung einer neuen Messung in jedem Korrek- 
turschritt aktualisiert wird, wirkt sich dieser Nachteil, sofern eine erfolgreiche 
Zuordnung noch gelingt, lediglich auf neu in den Beobachtungsbereich eintre- 
tende Partikel aus. 


Die Ergebnisse der Untersuchung sind in Abbildung 6.4 dargestellt. Die kreis- 
förmigen Marker repräsentieren dabei den ermittelten Mittelwert aus zwei 
Versuchsdurchführungen. Um insbesondere den Einfluss auf die Trefferquo- 
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te zu verdeutlichen, wird als zu ermittelnde Zielgröße Ry dargestellt. Es ist 
deutlich zu erkennen, dass beide Systeme bei der während der Kalibrierung 
berücksichtigten Geschwindigkeit von 1,1 ms~! das beste Ergebnis erzielen. 
Ebenfalls wird ersichtlich, dass die Trefferquote des Referenzsystems bei stei- 
gender Abweichung deutlich abfällt. Bei einer Abweichung von ca. 0,35 ms! 
fällt Ra auf einen Wert von ca. 10 %, es wird also nur noch jedes zehnte Parti- 
kel erfolgreich ausgeschleust. Das bildfolgenerweiterte System hingegen weist 
selbst bei dieser Abweichung nur einen geringen Rückgang der Trefferquote 
auf. Die Ergebnisse verdeutlichen daher, dass das bildfolgenerweiterte System 
einen adaptiven Ansatz, welcher deutlich insensitiver gegenüber einer subop- 
timalen Parametrisierung ist, darstellt. Durch die schritthaltende Korrektur der 
Geschwindigkeit kann bis zum Zeitpunkt der Ausschleusung ein passender 
Wert für die Berechnung der Ausblasfenster ermittelt werden. 


Bei der Untersuchung der Bewegungsstreuung der Linsen auf dem Förderband 
in Kapitel 5 wurden ähnliche Werte wie für die Quader ermittelt. Daher wird 
von vergleichbaren Ergebnissen bei der Sortierung von Linsen ausgegangen 
und dieser Fall auf dem Förderband nicht betrachtet. 


6.3.2 Experimente zur Materialtrennung auf einer Rutsche 


Abbildungen 6.5 bis 6.8 visualisieren die Ergebnisse der Sortierversuche mit 
Quadern und Linsen auf der Rutsche, die quantitativen Kenngrößen finden 
sich in Tabelle 6.2. Alle Versuchsszenarien wurden hierfür 20-mal wieder- 
holt. Die Untersuchungen in Kapitel 5 deuteten auf den größten Mehrwert 
durch den Einsatz der Bildfolgenauswertung für Quader hin. Die in Abbil- 
dung 6.5 visualisierten Ergebnisse zeigen, dass bei der Verwendung kleiner 
Ausblasfenster der Einsatz der Bildfolgenauswertung im Mittel mit 84,53 % 
eine deutlich bessere Trefferquote als beim Einsatz des Referenzsystems mit 
73,38 % erzielt. Die Falschtrefferquoten sind mit Mittelwerten von 0,23 % und 
0,36 % nahezu identisch. Bei Vergrößerung der Ausblasfenster nähern sich die 
Ergebnisse beider Systeme erwartungsgemäß an. Für das Referenzsystem steigt 
die Trefferquote im Mittel auf 86 % und für das experimentelle Sortiersystem 
mit Bildfolgenauswertung auf 88,29 %. Für beide Systeme steigt jedoch die 
Falschtrefferquote in dieser Konfiguration. 
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Abbildung 6.4: Visualisierung der ermittelten Trefferquoten fiir das Referenzsystem und experi- 
mentelle Sortiersystem mit Bildfolgenauswertung bei der Sortierung von Quadern 
auf dem Förderband bei von der Kalibrierung abweichenden Bandgeschwindig- 
keiten. Die Systemkalibrierung erfolgte für 1,1 m s7! (gelb hervorgehoben). 


Die Ergebnisse der Experimente mit Linsen auf der Rutsche lassen sich ähnlich 
interpretieren. Bei der Verwendung kleiner Ausblasfenster liegt die Trefferquo- 
te beim Einsatz der Bildfolgenauswertung bei 74,4 %, bei dem Referenzsystem 
lediglich bei 54,74 %. Die Unterschiede sind also sogar größer als bei den Qua- 
dern. Bei Verwendung großer Ausblasfenster konvergieren die Ergebnisse der 
Systeme ebenfalls. Unter Verwendung der Bildfolgenauswertung wird eine 
Trefferquote von 78,87 % erzielt, bei dem Referenzsystem von 72,01 %. Ab- 
solut betrachtet sind die Ergebnisse schlechter als jene, die mit den Quadern 
erzielt wurden, was u.a. an den kleineren Objektgrößen liegen kann [Udo10]. 


150 


6.3 Experimente zur Materialtrennung 


100 
90 


80 


> 
” l 


Ra in % 
R: in% 


8 
& 


60 


50 0 #»- 
BEE Referenz WEM Bildfolgenauswertung 


Abbildung 6.5: Experimentell ermittelte Sortiergüte in Form von Rg und Re für zwanzig Ver- 
suchsdurchführungen bei der Sortierung von Quadern mit Rutsche und Verwen- 
dung kleiner Ausblasfenster. 
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Abbildung 6.6: Experimentell ermittelte Sortiergiite in Form von Ra und Re für zwanzig Ver- 


suchsdurchführungen bei der Sortierung von Quadern mit Rutsche und Verwen- 
dung großer Ausblasfenster. 


151 


6 Bildfolgenauswertung für eine verbesserte Materialausschleusung 


100 


90 


80 


Ra in % 
R. in % 


60 we i te 
a 


o e 8 
50 ® 


0 


MMM Referenz WEM Bildfolgenauswertung 


Abbildung 6.7: Experimentell ermittelte Sortiergiite in Form von Rg und Re für zwanzig Ver- 
suchsdurchführungen bei der Sortierung von Linsen mit Rutsche und Verwendung 
kleiner Ausblasfenster. 
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Abbildung 6.8: Experimentell ermittelte Sortiergüte in Form von Ra und Re für zwanzig Ver- 


suchsdurchführungen bei der Sortierung von Linsen mit Rutsche und Verwendung 
großer Ausblasfenster. 


152 


6.4 Zusammenfassung und Diskussion der Ergebnisse 


Tabelle 6.2: Ermittelte quantitative Sortiergüte für das Referenzsystem und das experimentelle 
Sortiersystem mit Bildfolgenauswertung bei der Sortierung auf der Rutsche. 


Material Ausblasfenster System Ra Re 
. Referenz 73,38 % 0,23 % 
klein . 
Bildfolgen 84,53 % 0,36 Io 
Quader 
rob Referenz 86,00% 1,20 % 
R Bildfolgen 88,29% 1,51% 
: Referenz 54,74 % 0,76 % 
klein . 
. Bildfolgen 74,40 % 0,23 % 
Linsen 
Referenz 72,01% 1,19% 
groß 


Bildfolgen 78,87 fo 0,94 o 


6.4 Zusammenfassung und Diskussion der 
Ergebnisse 


In diesem Kapitel wurde ein Verfahren zur Nutzung partikelindividueller Be- 
wegungsinformation zur Bestimmung der Ausblasfenster und somit zur Unter- 
suchung der Forschungsfrage nach der Nutzung von Bewegungsinformation 
für die Berechnung präziser Steuersignale für die Materialausschleusung vor- 
gestellt. Das Verfahren wurde experimentell unter Nutzung der in Kapitel 5 
vorgestellten Referenzsortieraufgaben evaluiert. Hierfür wurde eine Parame- 
trisierung des Referenzsystems sowie des experimentellen Sortiersystems mit 
Bildfolgenauswertung identifiziert und erläutert, welche einen Vergleich unter 
möglichst gleichen Rahmenbedingungen erlaubt. 


Für die experimentelle Validierung wurden zahlreiche Sortierversuche unter 
Nutzung der beiden Transportvarianten Förderband und Rutsche durchgeführt. 
Die erzielten Ergebnisse auf dem Förderband lassen dabei den Schluss zu, 
dass aufgrund des vergleichsweise gleichmäßigen Bewegungsverhaltens nur 
ein geringer Mehrwert durch den Einsatz der Bildfolgenauswertung entsteht. 
In einem zusätzlichen Versuch konnte jedoch aufgezeigt werden, dass das 
bildfolgenerweiterte System im Vergleich zu dem Referenzsystem deutlich 
robuster gegenüber Abweichungen in der Transportgeschwindigkeit, provoziert 


153 


6 Bildfolgenauswertung für eine verbesserte Materialausschleusung 


durch eine Anpassung der Geschwindigkeit des Förderbands, ist und auch bei 
suboptimaler Kalibrierung eine hohe Trefferquote erzielt. 


Anhand der durchgeführten und ausgewerteten Sortierversuche auf der Rut- 
sche wurde aufgezeigt, dass durch den Einsatz der Bildfolgenauswertung eine 
erhebliche Steigerung der Sortierqualität möglich ist. Beispielsweise wurde bei 
Nutzung kleiner Ausblasfenster für die Quader eine erfolgreiche Ausschleu- 
sung von 84,53 % unter Verwendung der Bildfolgenauswertung erzielt und 
lediglich 73,38 % mit dem Referenzsystem. Bei den Linsen fiel der Unter- 
schied in dieser Konfiguration sogar noch größer aus. Zudem wurden unter der 
Verwendung kleiner Ausblasfenster gleichwertige oder gar bessere Ergebnisse 
als mit dem Referenzsystem und großen Ausblasfenstern erzielt. Damit ist ex- 
perimentell bestätigt, dass der Einsatz der Bildfolgenauswertung es ermöglicht, 
wirtschaftlich attraktivere Transportmechanismen ohne nennenswerte Einbu- 
sen in der Sortierqualität zu verwenden. Zudem ermöglicht der Ansatz die 
Senkung der Betriebskosten, da durch die kleineren Ausblasfenster weniger 
Druckluft benötigt wird. 


Hinsichtlich der untersuchten Transportvarianten sind die Ergebnisse eben- 
falls im Einklang mit den Schlussfolgerungen aus Kapitel 5, da der größere 
Mehrwert bei den Versuchen mit Verwendung der Rutsche erzielt wurde. Hin- 
sichtlich der Produkte unterscheiden sich die Ergebnisse jedoch, da in den 
Experimenten zur Materialausschleusung der größte Nutzen für die Linsen 
festgestellt wurde und nicht entsprechend den Ergebnissen aus Kapitel 5 für 
die Quader. 
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7  Bildfolgenauswertung für die 
Materialcharakterisierung auf 
Basis von Bewegungsinformation 


Durch sensorgestützte Schüttgutsortiersysteme wird sowohl eine Prüfaufga- 
be als auch die physikalische Trennung eines Materialstroms realisiert. Beide 
Prozessschritte können hierbei fehlerbehaftet sein. Während Kapitel 6 sich 
mit den Möglichkeiten zur verbesserten Materialausschleusung, also der phy- 
sikalischen Trennung, durch die Bildfolgenauswertung beschäftigt, wird im 
Folgenden der Aspekt der Materialcharakterisierung, also der Prüfaufgabe oh- 
ne Separation, betrachtet. Hierfür werden informationstragende Merkmale aus 
der neu gewonnenen Bewegungsinformation abgeleitet. Entsprechend widmet 
sich dieses Kapitel der Untersuchung von Forschungsfrage (A): 


Wie können optisch identische bzw. schwer unterscheidbare Ma- 
terialien auf Basis ihres Bewegungsverhaltens unterschieden und 
somit sortiert werden, wodurch völlig neue Anwendungsfelder er- 
öffnet würden? 


In Abschnitt 5.3 wird bereits eine Bewertung verschiedener Materialien auf 
Basis ihrer Bewegung bzw. Bewegungsvarianz für die Bewertung und Op- 
timierung der Parametrisierung von sensorgestützten Schüttgutsortiersyste- 
men vorgenommen. Dieser Ansatz wird im Folgenden durch die Entwicklung 
verschiedener Verfahren zu einer Materialcharakterisierung weiter ausgebaut. 
Hierdurch wird eine Verbindung zwischen Ansätzen zur Materialbestimmung 
auf Basis von Bewegung in bestimmten experimentellen Situation, wie bei- 
spielsweise in [Wu+15; Wu+16] dargelegt, und der Materialcharakterisierung 
in der sensorgestützten Schüttgutsortierung hergestellt. Eine schematische Dar- 
stellung des in dieser Arbeit vorgestellten Ansatzes bietet Abbildung 7.1. 


Einer Beschreibung der Adaption der Bildauswertung in Abschnitt 7.1 fol- 
gend werden drei Szenarien mit gezielter Anregung der Prüfobjekte mit dem 
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Konzipierte Einflussgrößen 
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Abbildung 7.1: Schematische Darstellungen des Ansatzes zur bewegungsbasierten Materialcha- 
rakterisierung mit Hilfe expliziter Anregung der Priifobjekte. 


Ziel der bewegungsbasierten Materialcharakterisierung fiir eine Sortierung 
nach mechanischen Eigenschaften vorgestellt. Einen Überblick über diese Sze- 
narien bietet Tabelle 7.1. Für alle drei Szenarien gilt, dass die vorliegende 
Charakterisierungsaufgabe nicht anhand des optischen Erscheinungsbilds der 
Prüfobjekte, wie beispielsweise Form und Farbe, lösbar ist. In Abschnitt 7.2 
werden zunächst Ansätze aus Impact Acoustic Systemen, welche als Alterna- 
tivtechnologie aufgefasst werden können, übernommen und ein Experiment 
zur möglichen Materialcharakterisierung auf Basis der Beobachtung elasti- 
scher Stöße untersucht [Mür18; Mai+19a]. In Abschnitt 7.3 wird betrachtet, 
inwiefern sich die Adaption der Geschwindigkeit von Prüfobjekten an die 
Transportgeschwindigkeit eines Förderbands für eine Materialcharakterisie- 
rung nutzen lassen [Mai+17; Mai+18a]. Darauffolgend wird in Abschnitt 7.4 
eine Modifikation für Rutschensortierer vorgestellt, welche eine bewegungs- 
basierte Materialcharakterisierung begünstigt, einen hohen Materialdurchsatz 
erlaubt und sich einfach in bestehende sensorgestützte Schüttgutsortiersysteme 
integrieren lässt [Mai+21b]. 
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Tabelle 7.1: Übersicht über die betrachteten Szenarien zur bewegungsbasierten Materialcharak- 


terisierung. 
Abschn. Basissystem Szenario Prüfobjekte 
7.2 Impact Acoustic Elastischer Stoß Kunststoffkugeln 
7.3 Bandsortierer Vorbeschleunigung, Kugelartige Objekte 
Adaption an Transport- aus verschiedenen 
geschwindigkeit Materialien 


7.4 Rutschensortierer Hindernisse durch struk- Kunststoffkugeln, 
turierte Oberfläche Haselnüsse 


7.1 Adaption der Bildfolgenauswertung für die 
Materialcharakterisierung 


Neben der in Abschnitt 5.1 eingeführten Farbflächenkamera mit Camera-Link- 
Schnittstelle kommt für die im Folgenden betrachteten Szenarien eine kos- 
tengünstigen Grauwertkamera mit USB 3.0 Schnittstelle zum Einsatz. Für 
die vorgestellte Untersuchung einer Materialcharakterisierung auf Basis von 
Bewegungsinformation wird lediglich die Ermittlung von Objektpositionen 
benötigt, die Notwendigkeit von Farbinformation entfällt. Bei dem Modell 
handelt es sich um die Kompaktkamera xiQ MO022 der Firma Ximea. Die 
Kamera wird in Kombination mit einem 8 mm Weitwinkelobjektiv eingesetzt. 
Ebenfalls entfallt durch die USB 3.0 Schnittstelle die Notwendigkeit fiir die 
kostenintensive Bilderfassungskarte. Der Einsatz der in Abschnitt 3.2.1 bzw. 
Abschnitt 4.1.1 vorgestellte Verfahren zur Bildsegmentierung in Vorder- und 
Hintergrund mittels Farbklassifikation ist jedoch nicht mehr möglich. 


Für die Realisierung des Bildeinzugs und der Bildvorverarbeitung wird da- 
her eine alternative Implementierung realisiert. Für den Bildeinzug stellt der 
Kamerahersteller eine C++ Programmierschnittstelle zur Verfügung. Diese 
ermöglicht das Setzen elementarer Parameter, wie z.B. die Bildwiederhol- 
rate oder die Belichtungszeit, sowie den Transfer aufgenommener Bilder in 
den Hauptspeicher. Für die binäre Segmentierung in Vorder- und Hinter- 
grundpixel wird ein Algorithmus aus der Computer Vision Bibliothek Open- 
CV [Bra00], welcher im Wesentlichen auf [Sta+99] mit den Weiterentwicklun- 
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gen aus [Ziv04; Ziv+06] beruht und auf einer GPU ausgeführt werden kann, 
eingesetzt. Es handelt sich dabei um einen Background Substraction Ansatz, 
welcher in einer Bildfolge den dynamischen Vordergrund vom statischen Hin- 
tergrund trennt. 


Zusätzlich zu der in Gleichung (3.5) bereits vorgestellten morphologischen 
Grundoperation Erosion wird die Dilatation für die weitere Bildbereinigung 
eingesetzt. Im Gegensatz zur Erosion vergrößert diese Grundoperation die 
Grundmenge durch 


GOS=-w|l(SPuNG+N}, (7.1) 
wobei SR die Reflexion von S definiert durch 
SÈ := {s| s =-x,x € S} (7.2) 


bezeichnet [Bey+12, Kap. 12]. Dies bewirkt, dass ein einzelner gesetzter Punkt 
in Strukturmatrix und Bild genügt, um den aktuell betrachteten Punkt in dem 
Ergebnis der Dilatation zu setzen. Die beiden Grundoperationen Erosion und 
Dilatation werden zudem mittels 


GoS:=(GeES)eS (7.3) 
zu einer Öffnen-Operation, sowie anhand von 
GeS:=(G8S)88S (7.4) 


zu einer Schließen-Operation verknüpft [Bey+12, Kap. 12]. Des Weiteren wird 
ein Gauß’scher Glättungsfilter vorgesehen. 


Das so erzeugte vorverarbeitete Binärbild kann dann entsprechend der in Ab- 
schnitt 4.1.2 vorgestellten Bildauswertung weiter verarbeitet werden, um die 
Flächenschwerpunkte von Prüfobjekten zu ermitteln. Mittels des MOT aus 
Abschnitt 4.2 werden aus diesen Messungen Tracks gebildet. Die resultieren- 
de Verarbeitungskette wird, wie in Abbildung 7.2 schematisch dargestellt, als 
Pipeline realisiert, um eine parallele Ausführung der verschiedenen Verarbei- 
tungsstufen zu ermöglichen. 


Unter Nutzung der im Folgenden vorgestellten Versuchsaufbauten werden an- 
hand der beschriebenen Vorgehensweise Tracks ermittelt und für die spätere 
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Abbildung 7.2: Schematische Darstellung der Verarbeitungspipeline zur Gewinnung einer Da- 
tenbasis für die Materialcharakterisierung auf Basis von Bewegungsdaten. 


Auswertung gespeichert. Entsprechend der in Gleichung (5.2) formulierten 
Bedingungen werden nur Tracks akzeptiert, welche eine zeitlich lückenlo- 
se Verfolgung eines Objekts aufweisen. Die Datenbasis für die vorgestellten 
Verfahren stellen somit die Tracks in Form von Koordinatenlisten dar. Die 
Koordinaten werden mittels 


T := {Pa = Pho Po T Pro- o Pr T P,,} (7.5) 


Pi, = Py, (7.6) 


zudem am Ursprung ausgerichtet. Diese Transformation ist in allen Versuchs- 
szenarien aufgrund der Translationssymmetrie der stationären Beobachtungs- 
fläche valide und führt dazu, dass die weitere Verarbeitung invariant gegenüber 
dem Ort wird, an dem die Tracks in den Beobachtungsbereich der Kamera ein- 
treten. Aus dieser Datenbasis abgeleitete weitergehende Merkmale werden im 
Folgenden in den jeweiligen Abschnitten eingeführt. 


Für die Klassifikation werden zwei bewährte Verfahren der Mustererkennung 
berücksichtigt: 


Support Vector Machine Die Support Vector Machine (SVM) hat sich seit 
einigen Jahren als bewährte Methode im Bereich des maschinellen Ler- 
nen etabliert. Ziel einer SVM ist es, eine Hyperebene zu bestimmen, 
die alle Datenpunkte unterschiedlicher Klassen, also die Merkmale, mit 
maximalem Abstand voneinander trennt. Für nicht linear trennbare Pro- 
bleme lässt sich der Datenraum in einen anderen Raum transformieren, 
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in dem eine lineare Klassentrennung möglich ist. Hierfür wird häufig 
eine radiale Basisfunktion (RBF) eingesetzt [Jos19, Kap. 7]. 


Random Forest Der Ensemble-Klassifikator Random Forest besteht aus 
randomisierten Entscheidungsbäumen. Die einzelnen erzielten Klas- 
sifikationsergebnisse werden z.B. mittels Mehrheitsentscheid aggre- 
giert [BreO1]. 


Für beide Klassifikatoren wird die jeweilige Implementierung des in [Ped+1 1] 
vorgestellten Python Frameworks scikit-learn genutzt. 


7.2 Bewegungsinformation durch elastische 
Stöße 


In [Hua+17] wird ein Versuchsaufbau sowie Verfahren im Kontext von Im- 
pact Acoustic für die Diskriminierung von Prüfobjekten aus verschiedenen 
Polymeren vorgestellt. Für die Untersuchungen zur Materialcharakterisierung 
auf Basis von Bewegung in einer Kollisionssituation wird ein Versuchsauf- 
bau in Anlehnung an diese Studie entwickelt. Anstelle von Schall-Emissionen 
wird jedoch das Bewegungsverhalten während der Kollisionssituation genutzt, 
um über die Beobachtung elastischer Stöße eine Materialdiskriminierung zu 
ermöglichen. 


7.2.1 Beschreibung des Versuchsaufbaus und der 
Prüfobjekte 


Der entwickelte und realisierte Versuchsaufbau für die Gewinnung informa- 
tionstragender Merkmale aus der Beobachtung einer Kollisionssituation ist in 
Abbildung 7.3 dargestellt. Es werden zwei schiefe Ebenen verwendet, wobei 
eine in Bezug auf die sensorgestützte Schüttgutsortierung eine Art Trans- 
portrutsche darstellt und die andere als Kollisionsfläche dient. Die Ebenen 
sind aus handelsüblichem Polyoxymethylen (POM) gefertigt. Durch die geo- 
metrische Anordnung kommt es zu einem oder mehreren elastischen Stößen 
zwischen den Prüfobjekten und der Kollisionsfläche (siehe Abbildung 7.4b). 


160 


7.2 Bewegungsinformation durch elastische Stöße 


smn FA 


N 


(a) CAD Zeichnung (b) Realer Aufbau 


Abbildung 7.3: Experimentalsystem zur Gewinnung von Tracks mit Kollisionssituation. 


(a) Positionierung und Sichtbereich der Kamera. (b) Exemplarische Visualisierung der Bewegung. 


Abbildung 7.4: Integration der Kamera in den Versuchsaufbau. 
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Um automatisiert möglichst viele Daten in Form von Tracks zu gewinnen wird 
ein Materialkreislauf realisiert. Nach dem Abprallen der Prüfobjekte von der 
Kollisionsfläche fallen diese in einen Trichter, an welchen ein Schlauch so- 
wie ein Venturi-Förderer angeschlossen ist. Hierdurch wird eine pneumatische 
Förderung, in Abbildung 7.3a in Magenta eingefärbt, realisiert. Nach einem 
Versuchsdurchlauf werden die Prüfobjekte durch einen Plexiglaszylinder er- 
neut auf die erste schiefe Ebene aufgegeben. Für einen Versuchsdurchlauf 
werden etwa 4 s benötigt. 


Die Anordnung von Kamera und Beleuchtung im Versuchsaufbau ist in Abbil- 
dung 7.4a zu sehen. Die Bildfläche wird von maximal möglichen 2048 x 1088 
Pixel auf den relevanten Bildausschnitt innerhalb von 1220 x 950 Pixel re- 
duziert. Der Beobachtungsbereich entspricht dabei etwa 329 mm x 256 mm. 
In der Objektebene beträgt die Ortsauflösung somit etwa 0,27 mm pro Pixel. 
Die Bildwiederholrate bei den Aufnahmen beträgt 194 Hz. Die Beleuchtung 
erfolgt mittels einer LED Hintergrundbeleuchtung in Quadratform mit einer 
Kantenlänge von 300 mm. Hierdurch ist sichergestellt, dass die Position opaker 
Testobjekte robust detektiert werden kann. Aufgrund der hohen, direkt in die 
Kamera gerichteten Lichtintensität und der Anforderung, dass lediglich die 
Position der Prüfobjekte detektiert werden soll, genügt eine Belichtungszeit 
von 16 us für die Bildgewinnung. 


Ebenfalls in Anlehnung an [Hua+17] werden für die Studie Prüfobjekte aus 
verschiedenen Polymeren verwendet. Hierfür werden 8 Materialien aus 4 ver- 
schiedenen Polymeren, wie in Tabelle 7.2 aufgelistet, namentlich Acrylnitril- 
Butadien-Styrol (ABS), Polyamid (PA), Polycarbonate (PC) und Polypropy- 
len (PP), betrachtet. Ein Auszug der entsprechenden Materialeigenschaften 
findet sich ebenfalls in Tabelle 7.2. Da die Objektform einen wesentlichen Ein- 
flussfaktor für die Bewegung darstellt, werden alle Prüfobjekte in der gleichen 
Form, konkret als Kugel, gewählt. Alle Kugeln haben einen Durchmesser von 
10 mm und werden mittels 3D Druck hergestellt. Die resultierenden Prüfobjek- 
te sind in Abbildung 7.5 zu sehen. Unterschiede im optischen Erscheinungs- 
bild, wie beispielsweise die Farbe, werden wie bereits erwähnt nicht für die 
Materialdiskriminierung verwendet. 
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Tabelle 7.2: Bezeichnungen und Auszug der Materialeigenschaften der verwendeten Kunststoffe. 


Gruppe Handelsbezeichnung Abkürzung Dichte Elastizitätsmodul @ E-Modul 
ingcm”? in mPa in mPa 
ABS Accura ABS Black (SL 7820) ABSI 1,16 1890-2440 2165 
DSM Somos WaterShed XC 11122 ABS2 1,12 2650-2880 2765 
PA HP 3D HR Polyamid 12 PAL 1,01 1700-1800 1750 
EOS Polyamid 12 PA2 0,93 1750-1800 1775 
PC Accura SL 5530 PC1 1,19 2889-3144 3016 
DSM Somos PerFORM PC2 1,61 9800-10500 10150 
PP Accura Xtreme PPI 1,19 1790-1980 1885 
Accura Xtreme White 200 PP2 1,18 2300-2630 2465 


Abbildung 7.5: Foto der untersuchten Priifobjekte, v. 1. n. r.: ABS1, ABS2, PAI, PA2, PC1, PC2, 
PPI, PP2. 


7.2.2 Gewinnung und Verarbeitung der Tracks mit 
elastischen Stößen 


Für die vorgestellten acht Materialklassen werden jeweils 10.000 Tracks an 
dem Versuchsaufbau mittels der vorgestellten adaptierten Bildfolgenauswer- 
tung gewonnen. Bei der Datengewinnung wird zudem Wissen über die An- 
ordnung der Szene genutzt und sichergestellt, dass die erste Messungen eines 
Tracks sich in dem Bildbereich befindet, in dem die Testobjekte die Szene be- 
treten, und die letzte Messung dort, wo die Objekte die Szene wieder verlassen, 
also im linken oberen und unteren Quadranten des Bildausschnitts (vergleiche 
Abbildung 7.4). Ein Ausschnitt der Daten ist beispielhaft in Abbildung 7.6 
visualisiert. 


Die Koordinaten der einem Track zugehörigen Messungen werden ohne wei- 
tere Merkmalsextraktion für die Klassifizierung genutzt. Da jedoch nicht jeder 
Track aus gleich vielen Messungen besteht entstehen hierdurch Merkmalsver- 
ktoren variabler Länge. Dies wird von vielen gängigen Klassifikationsalgorith- 
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y Position in Kamerakoordianten 
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(b) Material: PP1 


Abbildung 7.6: Visualisierung einer Auswahl aufgezeichneter Tracks mit Kollisionssituation. Der 
Bewegungsablauf entspricht jenem aus Abbildung 7.4b. 
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men nicht unterstützt. Es werden daher zwei Verfahren zur Generierung von 
Merkmalsvektoren konstanter Länge eingeführt. 


Abschneiden und Auffüllen Es wird die mittlere Länge aller aufgezeichneten 
Tracks ermittelt und alle Tracks, die kürzer als diese mittlere Länge sind, 
mit nullwertigen Koordinaten aufgefüllt bzw. alle längeren Tracks zu 
dieser Länge abgeschnitten. 


Geometrischen Interpolation Mittels Spline-Interpolation erfolgt ein Res- 
ampling auf 256 Datenpunkte. Hierfür wird eine Funktion der Bibliothek 
scipy [Vir+20] verwendet. 


In beiden Fällen werden die Merkmale, also die Koordinaten, standardisiert, 
so dass die resultierenden transformierten Werte den Erwartungswert null und 
die Varianz eins besitzen. 


7.2.3 Klassifikation der Bewegung mit elastischen Stößen 


Als Klassifikationsverfahren wird eine SVM mit einem Radialbasisfunktions- 
(RBF)-Kernel genutzt. Der Klassifikator wird mit 1/3 der Daten trainiert und 
mit den übrigen ?/3 getestet. Die Aufteilung erfolgt zufällig. 


Die Ergebnisse bei Verwendung der abgeschnittenen und aufgefüllten Daten 
sind in Abbildung 7.7 und für die geometrisch interpolierten Daten in Abbil- 
dung 7.8 jeweils unter Verwendung der einzelnen Kunststoffe sowie der Kunst- 
stoffgruppen als Klasse dargestellt. Für die abgeschnittenen und aufgefüllten 
Daten wird bei Verwendung der Kunststoffgruppen eine Korrektklassifikati- 
onsrate von 79,6 % und für die Kunststoffe eine von 74,8 % erzielt. Bei den 
geometrisch interpolierten Daten liegen die entsprechenden Werte bei 78,1 % 
bzw. 73,8 %. Hinsichtlich der Datenaufbereitung unterscheiden sich die Ergeb- 
nisse daher nur geringfügig. Es ist lediglich eine leichte Tendenz zur besseren 
Klassifikationsgüte bei den abgeschnittenen und aufgefüllten Daten zu erken- 
nen. Eine mögliche Erklärung hierfür ist der Verlust der zeitlichen Information 
in den interpolierten Daten. 


Insbesondere die Kunststoffe der Gruppen PA und PC stechen mit jeweils 
einer hohen Klassifikationsgüte hervor. Zwischen den Kunststoffen der Gruppe 
ABS und PP kommt es zu Vertauschungen. Bei Betrachtung von Tabelle 7.2 
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fällt auf, dass diese Gruppen sowohl hinsichtlich der Dichte als auch des 
Elastizitätsmoduls sich besonders stark ähneln. 


Die Ergebnisse der Studie unterstreichen das Potential der Materialcharakteri- 
sierung auf Basis von Bewegung, welche durch eine experimentelle Beobach- 
tungssituation gezielt beeinflusst wird. Für das praxisrelevante und teilweise 
unzureichend gelöste Problem der Polymerdiskriminierung mittels optischer 
Verfahren konnten beispielhaft sehr gute Ergebnisse erzielt werden. Der vor- 
gestellte Versuchsaufbau eignet sich allerdings nur bedingt für den praktischen 
Einsatz, da durch die Realisierung eines für Impact Acoustic Systeme typischen 
Aufbaus ein wesentlicher Nachteil, nämlich die starke Limitierung hinsichtlich 
des erzielbaren Materialdurchsatzes, bestehen bleibt. 


7.3 Informationstragende Bewegungsmerkmale 
beim Transport auf einem Forderband 


In Kapitel 5 wird das Bewegungsverhalten während des Transports an zwei 
Materialien exemplarisch untersucht. Aus den Ergebnissen geht hervor, dass 
die Ausprägung von Relativbewegung, welche letztendlich in einer Streuung 
der beobachteten Bewegungen resultiert, sowohl vom Material selbst als auch 
vom Transportmechanismus abhängig ist. 


Beim Transport mittels Förderband kann durch Vorbeschleunigung des Materi- 
als, entweder durch den Fördermechanismus oder die stufenweise Vorbeschleu- 
nigung über mehrere Förderbänder, sichergestellt werden, dass die Prüfobjekte 
bis zur sensorischen Erfassung eine uniforme Transportgeschwindigkeit errei- 
chen. In der folgenden Studie wird untersucht, ob der Prozess der Adaption 
einzelner Objektgeschwindigkeiten an die Geschwindigkeit des Förderbands 
die Ableitung informationstragender Merkmale für eine Materialcharakterisie- 
rung ermöglicht. 
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Abbildung 7.7: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform unter 
Verwendung von Abschneiden und Auffiillen. 
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Abbildung 7.8: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform unter 
Verwendung der geometrischen Interpolation. 
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Abbildung 7.9: Foto von Vertretern der vier Klassen an kugelförmigen Modellkörpern, v. l. n. r.: 
hölzerne Halbkugel, Holzkugel, Wattekugel, Wachsperle. 


7.3.1 Beschreibung der Testobjekte und der 
Datengewinnung 


Zur Untersuchung der Bewegungsinformation während der Transportphase auf 
einem Förderband werden geeignete Modellkörper ausgewählt. Diese sind in 
Abbildung 7.9 zu sehen und setzten sich aus hölzernen Halbkugeln, Holzku- 
geln, Wachsperlen und Wattekugel zusammen. Die ausgewählten Modellkörper 
unterscheiden sich daher u. a. in ihrer Dichte und ihren Reibungskoeffizienten. 
Alle Objekte haben einen Durchmesser von 10 mm. Unterschiede in den farb- 
lichen Beschaffenheiten sind zu vernachlässigen, da diese nicht für die Materi- 
alcharakterisierung herangezogen werden. Als Versuchssystem kommt das in 
Abschnitt 5.1 erweiterte, experimentelle Sortiersystem zum Einsatz. 


Beim Transport mittels Förderband gleicht sich die Geschwindigkeit der trans- 
portierten Objekte über die Transportdauer hin der Bandgeschwindigkeit an. 
Die Bewegungsstreuung nimmt somit über die Dauer des Transports ab. Die 
Hypothese der folgenden Untersuchung ist, dass die Anpassung einzelner Ob- 
jekte an die Fördergeschwindigkeit materialabhängig ist und somit informati- 
onstragende Merkmale zur Unterscheidung verschiedener Materialien liefern 
kann. Das Bewegungsverhalten wird entsprechend in verschiedenen Beob- 
achtungsbereichen auf dem Förderband, wie in Abbildung 7.10 dargestellt, 
untersucht. Hierzu werden pro Materialklasse und Beobachtungsbereich ca. 
500 Tracks aufgezeichnet. 
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Abbildung 7.10: Sicht auf das Förderband des experimentellen Sortiersystems von oben mit 
Markierung der betrachteten Bereiche. 


7.3.2 Berechnung statistischer Bewegungsmerkmale des 
Transportverhaltens auf dem Förderband 


Auf Basis der aufgezeichneten Tracks werden weitergehende Merkmale ex- 
trahiert. Im Rahmen der Untersuchung werden hierfür integrale Merkmale, 
welche auf Informationen aus mehreren aufeinanderfolgenden Zeitschritten 
basieren, gewählt. Konkret handelt es sich dabei um statistische Kenngrößen 
basierend auf der Geschwindigkeit und Beschleunigung der einzelnen Tracks. 
Es werden zudem globale und lokale Merkmale berücksichtigt. Globale Merk- 
male bezeichnen Informationen, welche sich auf einen gesamten Track bezie- 
hen. Lokale Merkmale werden im Gegensatz dazu immer aus zwei innerhalb 
eines Tracks aufeinanderfolgenden Messungen für geschwindigkeitsbezogene 
Merkmale und drei für beschleunigungsbezogene Merkmale gewonnen. Der 
finale Merkmalsvektor umfasst 14 Dimensionen und enthält: 


e die Anzahl der dem Track zugeordneten Messungen (1 Merkmal), 


e die mittlere Geschwindigkeit des Objekts über die gesamte ermittelte 
Trajektorie (1 Merkmal), 


e die minimale, durchschnittliche und maximale Geschwindigkeit zwi- 
schen zwei Messungen, jeweils für die x und y-Komponente (6 Merk- 
male) und 
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e die minimale, durchschnittliche und maximale Beschleunigung zwi- 
schen drei Messungen, jeweils für die x und y-Komponente (6 Merk- 
male). 


Alle Merkmale werden zudem standardisiert, so dass die resultierenden trans- 
formierten Werte den Erwartungswert null und die Varianz eins besitzen. 


7.3.3 Klassifikation der Modellkörper auf Basis 
statistischer Bewegungsmerkmale 


Auf Basis des 14-dimensionalen Merkmalsvektors wird im finalen Schritt ein 
Random Forest trainiert. Der verwendete Klassifikator bildet einen Mehrheits- 
entscheid aus 10 einzelnen Entscheidungsbäumen. Der Klassifikator wird mit 
1/3 der Daten trainiert und mit den übrigen 2/3 getestet. Die Aufteilung erfolgt 
zufällig. 


Die detaillierten Klassifikationsergebnisse für die verschiedenen Beobach- 
tungsbereiche sind in Abbildungen 7.11 bis 7.13 dargestellt, eine zusammen- 
fassende Darstellung findet sich in Abbildung 7.14. In letzterer Darstellung 
wird als Gütemaß die Korrektklassifikationsrate verwendet, welche entspre- 
chend der Notation aus Abbildung 2.8 für ein Zweiklassen-Problem als 


TP+TN 
TP+TN+FP+FN 


- 100 % (7.7) 


definiert ist. Da es sich bei der betrachteten Aufgabenstellung um ein Mul- 
tiklassen-Problem handelt, wird das Gütemaß für jede einzelne Objektklasse 
ermittelt, wobei alle anderen Objektklassen zu einer künstlichen zweiten Klas- 
sen zusammengeführt werden. 


Die erzielten Ergebnisse verdeutlichen, dass selbst vergleichsweise einfache, 
statistische Kenngrößen zur Partikelbewegung eine hohe Aussagekraft hin- 
sichtlich der vorliegenden Materialklasse haben. Die hölzernen Halbkugeln 
und Holzkugeln können in allen Szenarien am zuverlässigsten detektiert wer- 
den. Die Ergebnisse für Wachsperlen und Wattekugeln liegen jedoch ebenfalls 
nicht weit ab von diesen hohen Erkennungsraten. Es kann ebenfalls festgestellt 
werden, dass die Klassifikationsgüte mit der Länge des für den Transport ver- 
wendeten Bandes zunimmt, d. h. von der Position Aufgabe über Mitte bis Ende. 
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Abbildung 7.11: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform für 
den Beobachtungsbereich Aufgabe. 
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Abbildung 7.12: Klassifikationsergebnisse in Form von relativen Haufigkeiten in Matrixform fiir 
den Beobachtungsbereich Mitte. 
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Abbildung 7.13: Klassifikationsergebnisse in Form von relativen Haufigkeiten in Matrixform fiir 
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Abbildung 7.14: Zusammenfassung der Klassifikationsergebnisse auf Basis von Bewegung auf 


dem Förderband. 
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Eine mögliche Erklärung dafür ist, dass der Grad der Anpassung an die Trans- 
portgeschwindigkeit die aufschlussreichsten Bewegungseigenschaften offen- 
bart. In diesem Fall würde die Klassifikationsgüte jedoch dann dramatisch 
abfallen, sobald die Bandlänge so lang ist, dass sich alle Objekte vollständig 
an die Transportgeschwindigkeit angepasst haben und sich daher in ihrem Be- 
wegungsverhalten nicht mehr unterscheiden. Empirische Beobachtungen bei 
den Experimenten legen ebenfalls nahe, dass an der Position Aufgabe die Be- 
wegung der Objekte noch sehr chaotisch und somit ggf. weniger vom Material 
als von der Aufgabemodalität beeinflusst ist. 


7.4 Verursachung unruhiger Bewegungspfade 
mittels strukturierter Rutschenoberfläche 


Neben dem Bewegungsverhalten während elastischer Stöße und des Transports 
auf einem Förderband wird in diesem Abschnitt die Ableitung informations- 
tragender Merkmale während des Transports auf einer Rutsche untersucht. Das 
vorgestellte Verfahren lässt sich nahtlos in das Konzept der sensorgestützten 
Schüttgutsortierung einfügen. 


7.4.1 Beschreibung des Versuchsaufbaus, der Prüfobjekte 
und der Datengewinnung 


Der Versuchsaufbau dieser Studie orientiert sich an einem Rutschensortie- 
rer. Die verwendete Rutsche hat eine Breite von 394mm und ist in einem 
Winkel von 17,6° horizontal geneigt. Vergleichbar mit dem Versuchsaufbau 
aus Abschnitt 7.2 wird ein Materialkreislauf mittels pneumatischer Förderung 
realisiert. Eine schematische Darstellung sowie ein Foto des umgesetzten Ver- 
suchssystems sind in Abbildung 7.15 zu sehen. 


Die entscheidende Erweiterung besteht darin, dass die Rutsche nicht über eine 
glatte bzw. ebene, sondern eine strukturierte Oberfläche verfügt. Um verschie- 
dene Oberflächen hierfür erproben zu können wird ein Aufbau realisiert, in 
den sich verschiedene Matten einspannen lassen. Für die Untersuchung wer- 
den zwei Matten ausgewählt, welche sich in zwei grundlegenden Eigenschaften 
unterscheiden. Es handel sich hierbei um eine Matte mit Riffelmuster und ei- 
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Aufgabe- 
zylinder 


Rutsche mit strukturierter 
Oberfläche 


Pneumatische Förderung 


(b) Foto des realisierten Aufbaus. Der hervor- 
(a) Schematische Darstellung des Versuchsauf- gehobene Bereich entspricht dem Beobach- 
baus. tungsbereich der Kamera. 


Abbildung 7.15: Darstellungen des Experimentalsystems zur Gewinnung von Bewegungspfaden 
auf einer Rutsche mit strukturierter Oberfläche. 


nen Hygiene-Laufrost (siehe Abbildung 7.16). Diese Matten werden u.a. als 
Bodenbeläge eingesetzt. Das Riffelmuster weißt eine eher grobe, der Hygiene- 
Laufrost eine sehr feine Struktur auf. Zudem ist die Struktur beim Riffelmuster 
periodisch um 90° gedreht, beim Hygiene-Laufrost ist die Anordnung der 
Struktur gleichbleibend. 


Der Bildausschnitt der Kamera beträgt bei diesem Versuchsaufbau 980 x 1016 
Pixel und umfasst einen Beobachtungsbereich von etwa 308 x 318mm, woraus 
sich eine Ortsauflösung von ca. 0,31 mm pro Pixel ergibt. Als Beleuchtung 
wird ein LED Auflicht genutzt, welches aus einer Leuchtfläche mit mittigem 
Blickloch für die Kamera besteht. 
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(a) Matte 1: Riffelmuster (b) Matte 2: Hygiene-Laufrost (c) Matte 2: Nahaufnahme von 
Hygiene-Laufrost 


Abbildung 7.16: Polymermatten, welche als strukturierte Oberfläche der Rutsche dienen. 


Es werden zwei Klassifikationsaufgaben untersucht. Zunächst wird eine Teil- 
menge der bereits in Abschnitt 7.2 eingeführten Plastikkugeln betrachtet, na- 
mentlich die Vertreter PAI, PC1, PC2, PP1 und PP2. Für diese Testobjekte wird 
zunächst der Einfluss der Struktur der Oberfläche sowie die generelle Eignung 
des Verfahrens vergleichend zu den Untersuchungen aus Abschnitt 7.2 analy- 
siert. 


Darauf folgend werden reale Produkte in der Form von Haselnüssen betrachtet. 
Die Gewährleistung der Produktqualität und -sicherheit ist besonders bei der 
Verarbeitung von Lebensmitteln und landwirtschaftlichen Produkten essenti- 
ell. Nüsse sind ein vergleichsweise teures Produkt und erfreuen sich aufgrund 
des wachsenden Marktes im Bereich der gesunden Ernährung einer steigen- 
den Nachfrage. Die Qualitätsansprüche der Verbraucher sind dabei besonders 
hoch. Eine Art von Defekten, welche mittels konventioneller sensorgestützter 
Schüttgutsortiersysteme nicht geprüft werden können, sind innere Beschädi- 
gungen, wie z. B. hohle Nüsse. Im Kontext der Studie werden zwei Klassen von 
Haselnüssen betrachtet. Es handelt sich hierbei um unbeschädigte Haselnüsse 
sowie Haselnüsse mit Insektenschaden. Die Testobjekte sind in Abbildung 7.17 
abgebildet. Aus Abbildung 7.17b ist ersichtlich, dass der Schaden durch einen 
Käfer namens Curculio nucum (Haselnussbohrer) entstanden ist. Diese Nüsse 
sind im Gegensatz zu den unbeschädigten innen hohl. 
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(a) Ohne Defekt 


(b) Mit Defekt 


Abbildung 7.17: Fotos der verwendeten Haselnüsse. 


Für die fünf Plastikkugeln sowie die sieben Haselnüsse werden jeweils 5.000 
Tracks gewonnen. Der Datensatz der Haselnüsse enthält daher 20.000 Tracks 
von unbeschädigten und 15.000 Tracks von beschädigten Haselnüssen. Eine 
beispielhafte Visualisierung der resultierenden Tracks befindet sich in Abbil- 
dung 7.18. Analog zu dem Vorgehen in Abschnitt 7.2 wird je Klassifikati- 
onsaufgabe die mittlere Anzahl an Messungen der Tracks verwendet und alle 
Tracks auf diese Länge aufgefüllt bzw. abgeschnitten, um einen Merkmals- 
vektor konstanter Länge zu erhalten. Wie in den vorherigen Untersuchungen 
werden die Merkmale zu Erwartungswert null und Varianz eins standardisiert. 


7.4.2 Klassifikation der Kunststoffkugeln unter Nutzung 
der Koordinaten als Merkmale 


Als Klassifikationsverfahren wird ebenfalls eine SVM mit RBF-Kernel genutzt. 
Der Klassifikator wird mit !/3 der Daten trainiert und mit den übrigen 2/3 
getestet. Die Aufteilung erfolgt zufällig. 


Die Klassifikationsergebnisse bei Verwendung der Plastikkugeln und der Ko- 
ordinaten als Merkmale sind in Abbildung 7.19 dargestellt. Auf Matte 1 wird 
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(b) Haselnüsse (unbeschädigt) auf Matte 2. 


Abbildung 7.18: Visualisierung einer Auswahl aufgezeichneter Tracks auf der Rutsche mit struk- 
turierter Oberfläche. Die Hauptbewegungsrichtung ist von oben nach unten. 
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eine Korrektklassifikationsrate von 59,7 % und auf Matte 2 von 60,7 % erzielt. 
Ein erheblicher Einfluss der Struktur der Oberfläche ist für diese Aufgaben- 
stellung nicht zu erkennen, lediglich ist die Korrektklassifikationsrate unter 
Verwendung von Matte 2 zwischen den einzelnen Klassen ausgewogener. 


Im Vergleich zu den Ergebnissen aus Abschnitt 7.2 gelingt die Erkennung 
der verschiedenen Polymere auf der Rutsche mit strukturierter Oberfläche ver- 
gleichsweise schlecht. Daher wird im Folgenden die Extraktion weitergehender 
Merkmale untersucht. 


7.4.3 Entwicklung weitergehender Merkmale zur 
Steigerung der Klassifikationsleistung 


Um die in Abschnitt 7.4.2 festgestellte Klassifikationsleistung potentiell zu 
steigern werden für die Untersuchung weitergehende Merkmalsextraktions- 
verfahren realisiert. Als Datenbasis dienen nach wie vor die Koordinaten der 
Messungen der einzelnen Tracks. Es werden keine optischen Merkmale ver- 
wendet. Es werden zwei Ansätze aus der Literatur erprobt und ein dritter 
Ansatz hergeleitet. 


Coefficient Feature Space Die erste Form der Merkmalsextraktion basiert 
auf der in [Naf+06] vorgestellten Idee, einen Koeffizientenmerkmalraum von 
räumlich-zeitlichen Funktionsapproximationen zu verwenden. Dieser Ansatz 
wurde in seinem ursprünglichen Kontext für die Klassifikation von Objekten in 
Videoüberwachungsaufnahmen entwickelt. Als Approximationsfunktion wird 
hierfür eine Polynomial-Anpassung parametrierbaren Grades mittels der Me- 
thode der kleinsten Quadrate berücksichtigt. Hierfür werden für die x und 
y Koordinaten der Messungen eines Tracks die Koeffizienten des Polynom 
getrennt bestimmt, durch welche der Fehler 


IZI 


NP) - Pr,xl (1.8) 
t=0 
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Abbildung 7.19: Klassifikationsergebnisse in Form von relativen Haufigkeiten in Matrixform fiir 
Plastikkugeln bei Verwendung von Koordinaten. 
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bzw. 
IT | 


YO = Pry (7.9) 
t=0 


minimiert wird. Die ermittelten Koeffizienten dienen dann als Merkmale. Ein 
Parameter dieses Verfahrens ist daher der verwendete Grad des Polynoms. Der 
resultierende Merkmalsvektor hat die zweifache Größe des gewählten Grads. 
Im Folgenden wird diese Art der Merkmalsextraktion als Coefficient Feature 
Space (CFS) bezeichnet. 


Physics of Movement Die zweite Art der Merkmalsextraktion basiert auf der 
in [Dod+09] vorgestellten deskriptiven statistischen Analyse, die urspriinglich 
im Kontext der Klassifizierung urbaner Verkehrsmittel anhand von GPS-Daten 
vorgeschlagen wurde. Die Autoren schlagen eine Reihe von statistischen Merk- 
malen vor, um Bewegungsprofile abzuleiten. Die in dieser Arbeit umgesetzte 
Implementierung beriicksichtigt Geschwindigkeit, Beschleunigung und Dreh- 
winkel fiir die Berechnung solcher Profile. Diese Profile werden schließlich 
auf der Basis einer Sinuosität, welche als Länge eines Abschnitts im Bewe- 
gungspfad und der geradlinigen Distanz zwischen Anfangs- und Endpunkt 
dieses Abschnitts definiert ist, und eines Abweichungsindexes segmentiert. Ei- 
ne detaillierte Beschreibung des Algorithmus ist in [Dod+09] zu finden. Ein 
Parameter für diese Art der Merkmalsextraktion ist die sogenannte Dekom- 
positionsschwelle des Algorithmus. Unter Bezugnahme auf das ursprünglich 
in [Dod+09] vorgeschlagene Framework umfasst der hier verwendete Merk- 
malsvektor den Mittelwert sowie die Standardabweichung der Länge der resul- 
tierenden Segmente jeder Zerlegungsklasse, die Anzahl der Profiländerungen 
pro Zerlegungsklasse sowie das Verhältnis der Segmentlängen pro Zerlegungs- 
klasse im Verhältnis zum Gesamtprofil. Der resultierende Merkmalsvektor hat 
eine Dimensionalität von 45. In Anlehnung an den Namen der Publikation 
werden diese Merkmale im Folgenden Physics of Movement (POM) Merkmale 
genannt. 


Turbulenzmerkmale Im Rahmen der Untersuchung wird schließlich eine 
dritte Art der Merkmalsextraktion hergeleitet, welche auf Geschwindigkeit 
und Turbulenz basiert. Die Geschwindigkeiten werden bei diesem Verfahren 
über ein gleitendes Fenster berechnet, wobei die Fenstergröße w den Parameter 
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für diese Art der Merkmalsextraktion darstellt. Die Geschwindigkeiten werden 
auf diese Weise für beide Richtungskomponenten entsprechend 


V= [pn = Pr Pra T Poo > Pan T TENPE (7.10) 


berechnet. Die Turbulenzintensität TI ist ein Merkmal, das typischerweise in 
wissenschaftlichen Anwendungen wie Rohrströmungssimulationen [Rus+16] 
oder auch zur Optimierung von Windparkdesigns [Bar+07] verwendet wird. 
Für jedes Zeitfenster wird die durchschnittliche Geschwindigkeit v über das 
gesamte Fenster sowie die Geschwindigkeiten v; zwischen allen zeitlich aufein- 
anderfolgenden Koordinaten innerhalb des Fensters berechnet. Die Geschwin- 
digkeitsschwankungen v; werden nach 


1 w : 
v = — 2,0 -¥) (7.11) 


bestimmt und dann für die Berechnung von TI wie gegeben durch 


1 /1 
= U Va + Vag) (7.12) 


verwendet, wobei U die mittlere Geschwindigkeit über alle bekannten Tracks 
darstellt. Der resultierende Merkmalsvektor enthält |7 | — w geschwindigkeits- 
bezogene Merkmale fiir die x und y-Komponente und |7 | — w — 1 turbulenzbe- 
zogene Merkmale für die x und y-Komponente, was zu einer Dimensionalität 
des Merkmalsvektors von 4|7 | — 4w — 2 führt. 


TI 


7.4.4 Klassifikation der Kunststoffkugeln unter Nutzung 
der weitergehenden Merkmale 


Alle drei Ansätze zur Merkmalsextraktion verfügen über einen Parameter, des- 
sen optimaler Wert im Vorfeld unbekannt ist. Daher wird für die Klassifikation 
der Bereich an plausiblen Werten mittels Rastersuche unterabgetastet und so 
die beste Parametrisierung bestimmt. 


Die Ergebnisse für die drei Ansätze zur Unterscheidung der Plastikkugeln sind 
in Abbildungen 7.20 bis 7.22 für Matte 1 abgebildet. Bei Verwendung der CFS 
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Abbildung 7.20: Klassifikationsergebnisse in Form von relativen Haufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 1 mit CFS Merkmalen. 


Merkmale werden Ergebnisse für die Polynomgrade 1 bis 15 berücksichtigt. 
Als bester Wert wird der Grad 2 ermittelt. Die resultierende Korrektklassi- 
fikationsrate liegt bei 51,8 % und somit unterhalb des Ergebnisses auf Basis 
der Koordinaten. Für die POM Merkmale liegt der zulässige Wertebereich 
der Dekompositionsschwelle zwischen 0 und 1 und wird in Schritten von 
0.05 abgetastet. Das beste Ergebnis wird für die Parametrisierung 0.6 ermit- 
telt. Die resultierende Korrektklassifikationsrate liegt bei 58,4 % und ist somit 
gleichwertig mit dem Ergebnis auf Basis der Koordinaten. Für den Turbulenz- 
basierten Ansatz werden alle Fenstergrößen zwischen 2 und |7| — 2 berück- 
sichtigt. Die besten Ergebnisse werden für die Fenstergröße 3 festgestellt. Die 
Korrektklassifikationsrate liegt hierfür bei 73,3 % und entspricht somit dem 
besten erzielten Ergebnis. 


Eine Visualisierung der entsprechenden Ergebnisse unter Verwendung von 
Matte 2 ist in Abbildungen 7.23 bis 7.25 zu sehen. Bei Verwendung der CFS 
Merkmale wird als bester Parameter ebenfalls 2 ermittelt, die resultierende Kor- 
rektklassifikationsrate liegt bei 53,3 % und ist somit nur geringfügig besser als 
das Ergebnis von Matte 1. Für die POM Merkmale wird das beste Ergebnis 
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Abbildung 7.21: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 1 mit POM Merkmalen. 
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Abbildung 7.22: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 1 mit den vorgeschlagenen Tur- 


bulenzmerkmalen. 
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Abbildung 7.23: Klassifikationsergebnisse in Form von relativen Haufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 2 mit CFS Merkmalen. 


fiir die Parametrisierung 0.05 ermittelt. Die resultierende Korrektklassifika- 
tionsrate liegt bei 57,8% und somit leicht unter dem Ergebnis von Matte 1. 
Für den Turbulenz-basierten Ansatz wird als beste Parametrisierung genau wie 
bei Matte 1 die Fenstergröße 3 festgestellt. Die Korrektklassifikationsrate liegt 
hierfür bei 78,8 % und somit über dem Ergebnis von Matte 1. 


Aus den erzielten Ergebnissen ist erkennbar, dass die Wahl der Merkmalsex- 
traktion einen deutlich größeren Einfluss auf die Korrektklassifikationsrate 
als die eingesetzte Matte hat. Im Folgenden wird daher auf eine weitere Un- 
terscheidung verzichtet und nur noch Ergebnisse der Versuche mit Matte 2 
diskutiert. 


7.4.5 Klassifikation der Haselnüsse unter Nutzung der 
weitergehenden Merkmale 


Äquivalente Experimente werden mit den zwei Arten von Haselnüssen auf 
Matte 2 durchgeführt. Die Ergebnisse sind in Abbildungen 7.26 bis 7.29 visua- 
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Abbildung 7.24: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 2 mit POM Merkmalen. 
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Abbildung 7.25: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Plastikkugeln auf Matte 2 mit den vorgeschlagenen Tur- 


bulenzmerkmalen. 
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Abbildung 7.26: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Haselnüsse auf Matte 2 bei Verwendung von Koordinaten. 


lisiert. Bei Verwendung der Koordinaten wird eine Korrektklassifikationsrate 
von 67,8% und somit ein deutlich höherer Wert im Vergleich zu den Plastik- 
kugeln erzielt. Auffällig ist, dass insbesondere die Erkennung unbeschädigter 
Haselnüsse eine hohe Genauigkeit aufweist. Bei Verwendung der CFS Merk- 
male wird als optimale Parametrisierung der Grad 6 ermittelt. Die resultierende 
Korrektklassifikationsrate liegt bei 65,7 % und somit leicht unter den Ergebnis- 
sen bei Verwendung der Koordinaten. Ähnliches gilt für die POM Merkmale, 
für welche bei der besten ermittelten Dekompositionsschwelle von 0.05 eine 
Korrektklassifikationsrate von 67,2 % erzielt wird. Als bestes Verfahren wird, 
genau wie bei den Plastikkugeln, der Turbulenz-basierte Ansatz mit einer Kor- 
rektklassifikationsrate von 75,4 % identifiziert. 


Die erzielten Ergebnisse verdeutlichen, dass durch die Anregung von Parti- 
keln während der Transportphase informationstragende Merkmale zur bewe- 
gungsbasierten Materialcharakterisierung gewonnen werden können. Durch 
den Einsatz einer Rutsche mit strukturierter Oberfläche wurde aufgezeigt, wie 
sich eine entsprechende Integration in sensorgestützte Schüttgutsortiersysteme 
realisieren lassen könnte. 
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Abbildung 7.27: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
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Abbildung 7.28: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
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Abbildung 7.29: Klassifikationsergebnisse in Form von relativen Häufigkeiten in Matrixform 
unter Verwendung der Haselnüsse auf Matte 2 mit den vorgeschlagenen Turbu- 
lenzmerkmalen. 


7.5 Zusammenfassung und Diskussion der 
Ergebnisse 


Für die Untersuchung der Forschungsfrage nach der Unterscheidbarkeit op- 
tisch identischer bzw. schwer unterscheidbarer Materialien auf Basis ihres 
Bewegungsverhaltens wurden in diesem Kapitel die Erweiterungen der Bild- 
folgenauswertung sowie drei Szenarien mit gezielter Anregung der Prüfobjekte 
vorgestellt. Für alle Szenarien galt dabei, dass die jeweilige Charakterisierungs- 
aufgabe nicht anhand des optischen Erscheinungsbilds der Prüfobjekte lösbar 
ist. Als Datengrundlage wurden unter Verwendung der jeweils realisierten 
Versuchsaufbauten Tracks in Form von Koordinatenlisten gewonnen. Für die 
verschiedenen Szenarien wurden Methoden zur Merkmalsextraktion vorge- 
stellt. Als Klassifikationsverfahren kamen eine SVM und ein Random Forest 
zum Einsatz. 


Im ersten Szenario wurde ein an Impact Acoustic angelehnter Versuchsaufbau 
realisiert und elastische Stöße zwischen den Prüfobjekten, Kunststoffkugeln 
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gleicher Geometrie aus verschiedenen Polymeren, und einer Kollisionsfläche 
betrachtet. Ziel der Untersuchung war es zu prüfen, ob die Bewegungspfade in 
Folge der elastischen Stöße materialspezifische Charakteristika aufweisen. Für 
das Training einer SVM wurden die beobachteten Koordinaten als Merkmale 
verwendet. Bei der Klassifikation nach Kunststoffgruppe wurden Korrektklas- 
sifikationsraten von bis zu ca. 92 % erzielt. Eine Limitierung des Verfahrens 
ist jedoch, dass Prüfobjekte der Inspektion einzelnen zugeführt werden müs- 
sen und somit kein hoher Massenstrom erzielt werden kann. Zudem lässt sich 
das Verfahren nicht direkt in eine der vorherrschenden Systemauslegungen 
sensorgestützter Schüttgutsortiersysteme integrieren. 


Im zweiten Szenario wurde das Bewegungsverhalten von vier kugelartigen 
Modellkörpern während des Transports auf einem Förderband untersucht. Ein 
besonderer Fokus lag dabei auf der vermeintlich materialabhängigen Anpas- 
sung einzelner Objekte an die Bandgeschwindigkeit. Daher wurden mehrere 
Bereiche auf einem Förderband betrachtet. Auf Basis der Tracks wurden 14 
statistische Bewegungsmerkmale berechnet und für das Training eines Ran- 
dom Forest Klassifikators genutzt. Es wurden Korrektklassifikationsraten von 
bis zu ca. 98 % erzielt. 


Das dritte Szenario befasste sich mit der Erzeugung unruhiger Bewegungspfade 
der Prüfobjekte mittels einer Rutsche mit strukturierter Oberfläche. Vergleich- 
bar mit dem ersten Szenario bestand das Ziel der Untersuchung darin zu prüfen, 
ob durch die Kollisionen materialspezifische Bewegungspfade entstehen. Als 
Prüfobjekte wurden die Kunststoffkugeln aus dem zweiten Szenario sowie Ha- 
selnüsse, welche teilweise durch ein Insekt beschädigt wurden, verwendet. Zu- 
dem wurden zwei unterschiedliche Matten zur Realisierung der strukturierten 
Oberfläche ausgewählt. Es wurden zwei Verfahren zur Merkmalsextraktion aus 
der Literatur sowie ein eigener Ansatz vorgestellt. Als Klassifikationsverfahren 
kam eine SVM zum Einsatz. Für die Kunststoffkugeln wurden Korrektklassifi- 
kationsraten von bis zu ca. 96 %, für die Haselnüsse von bis zu ca. 80 % erzielt. 
Der Einfluss der Mattenauswahl war dabei in allen Fällen deutlich kleiner als 
der des gewählten Verfahrens zur Merkmalsextraktion. Daher kann davon aus- 
gegangen werden, dass die konkrete Art der Anregung durch die Form der 
Hindernisse durch die Struktur eine untergeordnete Rolle spielt. 


Zusammenfassend lässt sich feststellen, dass die Szenarien zwei und drei sich 
sehr gut für eine Integration in sensorgestützte Schüttgutsortiersysteme in Form 
von Band- bzw. Rutschensortierern eignen und somit eine Materialcharakte- 
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risierung auf Basis von Bewegungsinformation ermöglichen. In beiden Fällen 
gilt, dass eine uniforme Transportgeschwindigkeit aktiv verhindert wird. In 
konventionellen Systemen ohne Bildfolgenauswertung, wie dem in dieser Ar- 
beit betrachteten Referenzsystem, wäre dies problematisch, da die Qualität der 
Materialausschleusung hierdurch sinken könnte. In Kombination mit den in 
Kapitel 6 vorgestellten Verfahren bestünde dieses Problem jedoch nicht. 
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In diesem Kapitel werden die vorgestellten Verfahren und Experimente im 
Kontext der eingangs gestellten Forschungsfragen zusammengefasst. Zudem 
werden weiterführende Fragestellung diskutiert, welche sich unter Verwendung 
der in dieser Arbeit vorgestellten Verfahren in der Zukunft untersuchen lassen. 


8.1 Zusammenfassung 


In dieser Arbeit wurde der Einsatz von Hochgeschwindigkeitskameras als 
Inspektionssensorik für die sensorgestützte Schüttgutsortierung erforscht. Es 
wurde untersucht, ob die Gewinnung und Nutzung partikelindividueller Bewe- 
gungsinformation die Unterscheidung und somit Sortierung optisch identischer 
bzw. schwer unterscheidbarer Materialien ermöglicht, sich für die Berechnung 
präziser Steuersignale für die Materialausschleusung nutzen lässt und die Be- 
wertung bzw. Optimierung bestehender Systemauslegungen ermöglicht. 


Zur Untersuchung der Fragestellungen wurde ein echtzeitfähiges Bildfolgen- 
auswertesystem mit Multiobject-Tracking realisiert, welches die Beobachtung 
im Materialstrom enthaltener Partikel zu mehreren Zeitpunkten ermöglicht und 
in einen zeitlichen Kontext bringt. Ein Schwerpunkt der Entwicklung lag hier- 
bei auf Verfahren zur Reduktion der Laufzeit, insbesondere für die Lösung des 
Zuordnungsproblems. Hierfür wurden zwei Lösungsansätze vorgestellt und ex- 
perimentell evaluiert. Durch die Erforschung einer für eine GPU optimierten 
Implementierung des Auktionsalgorithmus konnte experimentell gezeigt wer- 
den, dass das entwickelte System die Verfolgung von über Tausend Partikeln 
ermöglicht und somit für den echtzeitfähigen Einsatz in der sensorgestützten 
Schüttgutsortierung geeignet ist. 
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Erweiterte Merkmalsgewinnung für die Materialcharakterisierung An- 
hand ausgewählter Szenarien erfolgte die Erforschung von Verfahren zur be- 
wegungsbasierten Materialcharakterisierung. Hierfür wurde der nutzbare, aus 
optischen Eigenschaften bestehende Merkmalsraum um Bewegungscharakte- 
ristika erweitert. Es erfolgte der experimentelle Nachweis der Unterscheid- 
barkeit optisch identischer Objekte auf Basis von Bildfolgen im Kontext der 
Schüttgutsortierung. Es wurde u.a. ein Verfahren zur Unterscheidung hohler 
und gesunder Haselnüsse und somit eine Lösung für ein derzeit noch offenes 
Sortierproblem vorgestellt, wodurch ein qualitativer Fortschritt gegenüber dem 
Stand der Forschung und Technik erzielt wird. 


Bewegungsinformation für eine verbesserte Materialausschleusung Ne- 
ben der Verfolgung von Bewegungspfaden ermöglicht das realisierte prädiktive 
Multiobject-Tracking Vorhersagen über die zukünftige Lokalisierung einzelner 
Partikel. Hierdurch lassen sich präzise Steuersignale für die Aktorik berech- 
nen, wodurch eine sichere Ausschleusung erzielt wird. Für die experimentel- 
len Untersuchungen wurde ein Schüttgutsortiersystem für den Einsatz einer 
Flächenkamera und für die Nutzung von Bewegungsinformation zur Materi- 
alausschleusung ertüchtigt. Durch den experimentellen Vergleich mit einem 
Referenzsortiersystem wurde aufgezeigt, dass insbesondere bei schwierigen 
Materialtransportbedingungen eine deutlich höhere Trennschärfe erzielt wird. 
Neben diesen quantitativen Verfahrensfortschritten ergeben sich hierdurch 
neue Anwendungsfelder für die sensorgestützte Schüttgutsortierung, insbe- 
sondere für hinsichtlich der Materialberuhigung unkooperative Materialien. 


Analyseverfahren zur verbesserten Systemauslegung Durch die Wahl 
geeignet Förder-, Transport- und Separationsmechanismen werden System- 
auslegungen auf konkrete Sortieraufgaben zugeschnitten, um eine gewünschte 
Sortiereffizienz zu erzielen. Der Materialtransport ist dabei ein wesentlicher 
Schritt und hat starken Einfluss auf die Sortierqualität. Neben der eigentlichen 
Materialbeförderungen muss insbesondere eine uniforme Transportgeschwin- 
digkeit sichergestellt werden. Es erfolgte die Erforschung eines Verfahrens 
zur Erfassung und quantitativen Beschreibung des Transportverhaltens. Ei- 
ne Flächenkamera wurde im Sinne einer Analysesensorik in ein Sortiersystem 
integriert, um für definierte Referenzsortierprobleme Bildfolgen der Transport- 
phase zu gewinnen, Trajektorien zu extrahieren, und statistisch zu analysieren. 
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Es wurde gezeigt, dass die so gewonnene Bewegungsinformation sich für den 
systematischen Vergleich verschiedener Systemauslegungen sowie die Identi- 
fikation geeigneter Parametrisierungen, insbesondere für die Separation, um 
eine angestrebte Sortierqualität gewährleisten zu können, eignet. 


8.2 Ausblick 


Der Einsatz einer Flächenkamera in Verbindung mit den vorgestellten Ver- 
fahren zur Bildfolgenauswertung bietet großes Potential für die Untersuchung 
weiterer spannender Fragestellungen. Im Folgenden wird aufgezeigt, welche 
Forschungsrichtungen zukünftig auf Basis der in dieser Arbeit vorgestellten 
Verfahren eingeschlagen werden können. 


Materialspezifisches Tracking Da der entwickelte Lösungsansatz auf der 
sensorischen Beobachtung einer räumlichen Fläche beruht, ist er zum derzei- 
tigen Stand lediglich für Sortiersysteme mit VIS Sensorik einsetzbar. Insbe- 
sondere die Sortierung mit zeilenscannender Hyperspektralsensorik im NIR 
gewinnt jedoch immer mehr an Bedeutung, da zahlreiche Sortieraufgabenstel- 
lungen mit ihr gelöst werden können. Die Vorteile der bildfolgenerweiterten 
Schüttgutsortierung können dennoch durch den Einsatz eines Multi-Sensor- 
Systems bestehend aus VIS Flächen- und zeilenscannender Hyperspektralka- 
mera genutzt werden. Zudem dürfen in den nächsten Jahren technologische 
Fortschritte hinsichtlich Hyperspektralflächenkameras, sogenannten Snapshot 
Kameras, erwartet werden. Diese Sensortechnologie ermöglicht den Einsatz 
der in dieser Arbeit vorgestellten Verfahren in Verbindung mit Hyperspektral- 
kameras. Um die im NIR gewonnene Materialinformation für ein robusteres 
Tracking zu nutzen muss lediglich ein neues Distanzmaß für das Zuordnungs- 
problem definiert werden. Ein entsprechendes Konzept des material aware 
tracking wurde bereits in [Xi0+20] vorgestellt. 


Tracking des Materialstroms Ein wirtschaftliches Bestreben bei der Ent- 
wicklung neuer Sortiersysteme liegt zweifelsohne in der Maximierung des 
Massenstroms und damit der Belegungsdichte. Unter Annahme extrem hoher 
Belegungsdichten gilt es zu untersuchen, inwiefern von einer Bewegungs- 
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verfolgung einzelner Partikel abzusehen und viel mehr die Bewegung des 
entstehenden Stroms wertvolle Informationen für die Materialtrennung und 
-charakterisierung liefern kann. 


Erfassung optischer Merkmale zu mehreren Zeitpunkten Neben der Ab- 
leitung bewegungsbasierter Merkmale ermöglichen die vorgestellten Verfahren 
ebenfalls die Erfassung optische Merkmale, z. B. auf Basis von Form und Far- 
be, zu mehreren Zeitpunkten [Bau19]. Rotierende Partikel können dabei aus 
mehreren Perspektiven betrachtet werden, wodurch der Einsatz kostspieliger 
Mehrkamerasysteme für die Beobachtung von mehreren Seiten entfällt. Die 
statistische Analyse einzelner Merkmale zu mehreren Zeitpunkten, z.B. in 
Form der Bildung von Mittelwerten, bietet das Potential für eine robustere 
Materialcharakterisierung. 


Materialausschleusung bei Bewegungsanregung Hinsichtlich der Mate- 
rialcharakterisierung auf Basis von Bewegungsinformation ergeben sich weite- 
re Fragestellung hinsichtlich der Art der Materialanregung und der vollständi- 
gen Integration in sensorgestützte Schüttgutsortiersysteme. Durch den Einsatz 
einer modifizierten Rutsche bei den in dieser Arbeit präsentierten Versuchen 
wurde bereits aufgezeigt, wie eine derartige Integration aussehen kann. Zusätz- 
liche Formen der Anregung, z. B. auch bedingt durch die Materialzuführung, 
sowie deren Effekt auf die Güte der Materialtrennung bieten jedoch das Po- 
tential für weiterführende Untersuchungen. Eine experimentelle Untersuchung 
der Kombination der Verfahren zur verbesserten Materialausschleusung und 
-charakterisierung ist ebenfalls von großem Interesse. 


Adaptive Aufweitung der Ausblasfenster Das vorgestellte Multiobject- 
Tracking-System ermöglicht die Prädiktion von Partikelpositionen in der Zu- 
kunft verbunden mit einer Unsicherheit. Diese Unsicherheit kann genutzt wer- 
den, um die Aufweitung der Ausblasfenster partikelindividuell festzulegen. Im 
Falle einer größeren Unsicherheit können entsprechend größere Ausblasfenster 
gewählt werden als bei geringer Unsicherheit. Somit ließe sich die Treffsicher- 
heit der Ausschleusung steigern, während der Mehrbedarf an Druckluft kleiner 
als bei der generellen Nutzung großer Ausblasfenster ausfiele. 
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8.2 Ausblick 


Einsatz von Dynamic Vision Sensoren In den letzten Jahren haben soge- 
nannte Dynamic Vision Sensoren eine rasante Entwicklung erfahren. Das Sen- 
sorprinzip unterscheidet sich von herkömmlichen Kameras dadurch, dass nur 
die Intensitätsänderungen einzelner Pixel wahrgenommen und als asynchroner 
Datenstrom anstelle eines ganzen Bildes übertragen werden [Gal+20]. Zu den 
vermeintlichen Stärken des Sensorprinzips zählen eine hohe zeitliche Auflö- 
sung in der Größenordnung von Mikrosekunden, eine geringe Latenz und eine 
niedrige Datenrate durch den Verzicht auf die Übertragung redundanter Infor- 
mationen. Da das Sensorprinzip insbesondere bei dünn besetzten Szenen mit 
einem hohen Anteil statischen Hintergrunds sein Potential entfaltet [Hol+21], 
stellt die sensorgestützte Schüttgutsortierung ein vielversprechendes Anwen- 
dungsgebiet dar. Eine zu untersuchende Fragestellung ist, ob durch die hohe 
zeitliche Auflösung das Lösen des Zuordnungsproblems trivial wird und auf 
komplexe Algorithmen verzichtet werden kann. Die Eignung des Sensorprin- 
zips für die automatische Sichtprüfung wurde bereits in [Bec+21] untersucht. 


Zustandsüberwachung Der Einsatz einer Flächenkamera und den vorge- 
stellten Verfahren zur Bildfolgenauswertung bietet großes Potential als Ana- 
lyseinstrument zur Bewertung sensorgestützter Schüttgutsortiersysteme. Wie 
bereits in dieser Arbeit gezeigt wird ein quantitativer Vergleich über die Güte 
verschiedener Systemauslegungen ermöglicht. Hierdurch lassen sich verschie- 
dene Systemparameter systematisch optimieren. Die vorgestellten Verfahren 
eignen sich beispielsweise, um das Transportverhalten bei unterschiedlichen 
Rutschenwinkeln zu untersuchen oder die Qualität der Zuführung in Form der 
Gleichverteilung des Materials über die Sortierbreite zu überprüfen. Durch die 
in dieser Arbeit vorgestellte echtzeitfähige Bildfolgenauswertung lässt sich ein 
solches Analyseinstrument ebenfalls online zur Zustandsüberwachung und für 
eine Selbst-Optimierung einsetzen. 


Sensorgestützte Sortierung im Zuge der Digitalisierung Insbesondere 
durch Entwicklungen im Kontext von Industrie 4.0 ist es von großem In- 
teresse, dass während des Sortierprozesses sensorisch erfasste Informationen 
nicht nur für die Sortierung selbst, sondern mittels standardisierter indus- 
trieller Schnittstellen auch externen Prozessen verfügbar gemacht werden. 
Insbesondere die vorgestellten Verfahren zur verbesserten Materialcharakteri- 
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sierung ermöglichen hierbei die Anreicherung von für eine Prozesssteuerung 
relevanten Informationen. 
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